计算机科学与探索 ›› 2015, Vol. 9 ›› Issue (4): 410-417.DOI: 10.3778/j.issn.1673-9418.1409083
蒋 勇1+,赵作鹏2
JIANG Yong1+, ZHAO Zuopeng2
摘要: MapReduce已经发展成为大数据领域标准的并行计算模型。为了使MapReduce系统下参与计算的所有节点高度负载均衡,并且最小化空间使用率、CPU、I/O的使用时长和网络传输开销等指标,在保持算法良好并行性的基础上,提出了一种MapReduce优化算法的设计规范,对多个指标同时进行优化。针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最优算法,并证明了该优化算法满足MapReduce优化算法规范。最后通过实验验证了该优化的排序算法在有效性和效率方面严格优于传统的排序算法。