面向MapReduce的数据处理流程开发方法

计算机科学与探索 ›› 2011, Vol. 5 ›› Issue (2): 161-169.

面向MapReduce的数据处理流程开发方法

易小华^1,2, 刘杰³, 叶丹¹

1. 中国科学院软件研究所软件工程技术中心, 北京100190
2. 中国科学院研究生院, 北京100190
3. 中国科学技术大学计算机科学与技术系, 合肥 230026

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2011-02-01 发布日期:2011-02-01
通讯作者: 易小华

Development Method of MapReduce Oriented Data Flow Processing

YI Xiaohua^1,2, LIU Jie³, YE Dan¹

1. Technology Center of Software Engineering, Institute of Software, Chinese Academy of Sciences, Beijing 100190, China
2. Graduate University, Chinese Academy of Sciences, Beijing 100190, China
3. Dept. of Computer Science and Technology, University of Science and Technology of China, Hefei 230026, China

Received:1900-01-01 Revised:1900-01-01 Online:2011-02-01 Published:2011-02-01
Contact: YI Xiaohua

摘要/Abstract

摘要： 数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点, MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理, 但是MapReduce不支持多数据源的数据处理, 不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法, 定义数据处理流程的逻辑模型、物理模型和组件模型, 使用模型转换算法和代码生成算法将逻辑模型转化为物理模型, 再转换为能直接在Hadoop平台上运行的MapReduce程序, 基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。

关键词: MapReduce, 数据处理流程, 模型驱动, Hadoop平台

Abstract: In the age of information explosion, DataFlow processing widely existed and has shown new features and styles including massive and parallel, meanwhile more and more people choose to use MapReduce to process their data because of its simplicity and higher capability with lower cost, but MapReduce does not directly support complex N-step, N-branch and multiple data sets data flow processing. This paper proposes a model-driven development method for DataFlow processing based on MapReduce. It first defines the logical and physical models of the data-flow as well as the component model, then designs model transfer and code generation algorithms, finally uses the algorithms to generate the MapReduce program code which implements the function defined by the logical model and can run on Hadoop platform. Based on this method, a development tool CloudDataFlow is implemented. As the experiment shows, compared with similar system, it has higher performance, extendibility and usability.

Key words: MapReduce, data flow processing, model-driven development, Hadoop platform

易小华1,2 , 刘杰3 , 叶丹1 . 面向MapReduce的数据处理流程开发方法[J]. 计算机科学与探索, 2011, 5(2): 161-169.

YI Xiaohua^1,2, LIU Jie³, YE Dan¹. Development Method of MapReduce Oriented Data Flow Processing[J]. Journal of Frontiers of Computer Science and Technology, 2011, 5(2): 161-169.

[1]	谭景信，刘玉龙，李慧娟. 虚拟化模型驱动的分布式数据湖构建方法研究[J]. 计算机科学与探索, 2019, 13(9): 1493-1503.
[2]	张敬伟，尚宏佳，钱俊彦，周萍，杨青. 非均匀数据分布下的MapReduce连接查询算法优化[J]. 计算机科学与探索, 2017, 11(5): 752-767.
[3]	郭心宇，岳昆，李劲，武浩，张彬彬. 面向评价数据中用户偏好发现的证据理论方法[J]. 计算机科学与探索, 2017, 11(2): 231-241.
[4]	李东，邓泽航，李祖立. 基于MapReduce的XML结构连接处理[J]. 计算机科学与探索, 2016, 10(8): 1080-1091.
[5]	胡志刚，景冬梅，陈柏林，杨柳. 基于Hadoop平台的语义数据查询策略研究[J]. 计算机科学与探索, 2016, 10(7): 948-958.
[6]	单观敏，董一鸿，何贤芒. 基于MapReduce的连续概率Skyline查询[J]. 计算机科学与探索, 2016, 10(2): 182-193.
[7]	尹子都，岳昆，武浩，付晓东，刘惟一. 基于记忆曲线的数据密集型动态用户行为建模[J]. 计算机科学与探索, 2016, 10(10): 1376-1386.
[8]	张安珍，门雪莹，王宏志，李建中，高宏. 大数据上基于Hadoop的不一致数据检测与修复算法[J]. 计算机科学与探索, 2015, 9(9): 1044-1055.
[9]	刘超，徐雅斌，武装. 微博社区快速发现方法[J]. 计算机科学与探索, 2015, 9(9): 1100-1107.
[10]	王飞，刘超. 基于日志的Web系统互操作测试用例扩充方法[J]. 计算机科学与探索, 2015, 9(7): 803-811.
[11]	胡军，马金晶，刘雪，程桢，石娇洁，黄志球. 模型驱动的安全关键系统重配置信息验证方法[J]. 计算机科学与探索, 2015, 9(4): 385-402.
[12]	蒋勇，赵作鹏. 基于MapReduce模型的排序算法优化研究[J]. 计算机科学与探索, 2015, 9(4): 410-417.
[13]	孙鹤立，陈强，刘玮，黄健斌，邹建华. 利用MapReduce平台实现高效并行的频繁子图挖掘[J]. 计算机科学与探索, 2014, 8(7): 790-801.
[14]	燕彩蓉，张洋舜，徐光伟. 支持隐私保护的众包实体解析[J]. 计算机科学与探索, 2014, 8(7): 802-811.
[15]	师金钢，郑艳，孙焕良，栾方军. 云环境中海量数据的并行分组密码体制研究[J]. 计算机科学与探索, 2014, 8(2): 161-170.