MapReduce优化技术综述

doi:10.3778/j.issn.1673-9418.1307035

计算机科学与探索 ›› 2013, Vol. 7 ›› Issue (10): 865-885.DOI: 10.3778/j.issn.1673-9418.1307035

MapReduce优化技术综述

黄山，王波涛+，王国仁，于戈，李佳佳

HUANG Shan, WANG Botao+, WANG Guoren, YU Ge, LI Jiajia

出版日期:2013-10-01 发布日期:2013-09-30

A Survey on MapReduce Optimization Technologies

东北大学信息科学与工程学院，沈阳 110819

College of Information Science and Engineering, Northeastern University, Shenyang 110819, China

Online:2013-10-01 Published:2013-09-30

摘要/Abstract

摘要： 作为一种处理大数据的并行编程模型，MapReduce由于其良好的可扩展性、可用性、容错性，得到了学术界和工业界的关注。针对MapReduce在应用领域中的不足，已经存在大量的优化技术。介绍了MapReduce框架，比较了现存的MapReduce列存储、索引、连接、迭代计算、科学计算及调度算法方面的优化技术，分析了MapReduce技术研究的挑战性问题，指出了未来研究方向。

关键词: MapReduce, 列存储, 索引, 连接, 迭代, 科学计算, 调度算法, 优化

Abstract: As a parallel programming model for big data processing, MapReduce is getting more and more attractions from academia and industry for its good scalability, availability and fault tolerance. There exist a lot of optimization technologies focusing on the application limitations of MapReduce. This paper firstly introduces the MapReduce framework, then compares the research work on MapReduce optimization technologies including column storage, index, join, iteration calculation, scientific calculation, and scheduling algorithms respectively. Finally, this paper analyzes the challenges and figures out the trends of this area.

Key words: MapReduce, column storage, index, join, iteration, scientific calculation, scheduling algorithms, optimization

黄山，王波涛，王国仁，于戈，李佳佳. MapReduce优化技术综述[J]. 计算机科学与探索, 2013, 7(10): 865-885.

HUANG Shan, WANG Botao, WANG Guoren, YU Ge, LI Jiajia. A Survey on MapReduce Optimization Technologies[J]. Journal of Frontiers of Computer Science and Technology, 2013, 7(10): 865-885.

[1]	任龙杰, 孙颖, 丁卫平, 鞠恒荣, 曹金鑫. 基于单种群蛙跳优化CNN的眼底图像多病变检测[J]. 计算机科学与探索, 2021, 15(9): 1762-1772.
[2]	刘一凡, 游晓明, 刘升. 基于动态重组和协同交流策略的蚁群优化算法[J]. 计算机科学与探索, 2021, 15(8): 1511-1525.
[3]	李西明, 吴嘉润, 吴少乾. 敌手能力有限时基于生成对抗网络的保密增强[J]. 计算机科学与探索, 2021, 15(7): 1220-1226.
[4]	何金栋, 卜艳玲, 石聪聪, 谢磊. 面向RFID动态帧时隙ALOHA协议的帧长优化[J]. 计算机科学与探索, 2021, 15(7): 1227-1236.
[5]	赵泽渊, 代永强. 改进混合二进制蝗虫优化特征选择算法[J]. 计算机科学与探索, 2021, 15(7): 1339-1349.
[6]	钟倩漪, 钱谦, 伏云发, 冯勇. 粒子群优化算法在关联规则挖掘中的研究综述[J]. 计算机科学与探索, 2021, 15(5): 777-793.
[7]	孙泽宇, 李传锋, 邢萧飞, 来纯晓. 传感网中带有可控阈值的优化协同覆盖算法[J]. 计算机科学与探索, 2021, 15(5): 893-906.
[8]	马瑞强, 宋宝燕, 丁琳琳, 王俊陆. 面向时间序列事件的动态矩阵聚类方法[J]. 计算机科学与探索, 2021, 15(3): 468-477.
[9]	高雷阜, 荣雪娇. 融合递减策略与Fuch混沌机制的改进YSGA算法[J]. 计算机科学与探索, 2021, 15(3): 564-576.
[10]	黄光球, 陆秋琴. 种群具有离散Leslie年龄结构的动力学优化算法[J]. 计算机科学与探索, 2021, 15(2): 354-365.
[11]	黄光球, 陆秋琴. 具脉冲出生和季节性捕杀的种群系统优化算法[J]. 计算机科学与探索, 2021, 15(10): 2002-2014.
[12]	刘广洲, 李金宝, 任东东, 舒明雷. 密集连接扩张卷积神经网络的单幅图像去雾[J]. 计算机科学与探索, 2021, 15(1): 185-194.
[13]	邵必林，贺金能，边根庆. 基于多目标分解策略的副本布局算法研究[J]. 计算机科学与探索, 2020, 14(9): 1490-1500.
[14]	马志程，袁海峰，谷洋，刘亚茹，张孝. 文档-关系数据查询执行技术研究与实现[J]. 计算机科学与探索, 2020, 14(8): 1315-1326.
[15]	邓志诚，孙辉，赵嘉，王晖. 具有动态子空间的随机单维变异粒子群算法[J]. 计算机科学与探索, 2020, 14(8): 1409-1426.

MapReduce优化技术综述

A Survey on MapReduce Optimization Technologies

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics