云文件系统中纠删码技术的研究与实现

doi:10.3778/j.issn.1673-9418.1212013

计算机科学与探索 ›› 2013, Vol. 7 ›› Issue (4): 315-325.DOI: 10.3778/j.issn.1673-9418.1212013

云文件系统中纠删码技术的研究与实现

程振东1+，栾钟治1，孟由1，李亮淑1，和荣1，杨婷婷1，钱德沛1，管刚2，陈伟2

1. 北京航空航天大学计算机学院中德联合软件研究所，北京 100191
2. 深圳市腾讯计算机系统有限公司，广东深圳 518057

出版日期:2013-04-01 发布日期:2013-04-02

Research and Implementation on Erasure Code in Cloud File System

CHENG Zhendong1+, LUAN Zhongzhi1, MENG You1, LI Liangshu1, HE Rong1, YANG Tingting1, QIAN Depei1, GUAN Gang2, CHEN Wei2

1. Sino-German Joint Software Institute, School of Computer Science and Engineering, Beihang University, Beijing 100191, China
2. Tencent Corporation, Shenzhen, Guangdong 518057, China

Online:2013-04-01 Published:2013-04-02

摘要/Abstract

摘要： 云文件系统凭借高性能、高扩展、高可用、易管理等特点，成为云存储和大数据的基础和核心。云文件系统一般采用完全副本技术来提升容错能力，提高数据资源的使用效率和系统性能。但完全副本的存储开销随着副本数目的增加呈线性增长，存储副本时造成额外的写带宽和数据管理开销。纠删码在没有增加过量的存储空间的基础上，通过合理的冗余编码来保证数据的高可靠性和可用性。研究了纠删码技术在云文件系统中的应用，从纠删码类型、编码对象、编码时机、数据更改、数据访问方式和数据访问性能等六个方面，对云文件系统中纠删码的设计进行了探究，以增强云文件系统的存储模型。在此基础上，设计并实现了纠删码原型系统，并通过实验证明了纠删码能有效地保障云文件系统的数据可用性，并且节省存储空间。

关键词: 云计算, 云文件系统, 冗余, 纠删码

Abstract: Cloud file system has become the core and foundation of cloud storage and large data for its high performance, high scalability and high availability. Cloud file system generally uses replication technique to enhance its fault tolerance, improve efficiency in the use of data resources and system performance. However, the storage overhead of replication grows linearly with the number of replicas. And the replication costs extra writing bandwidth and management overhead. Erasure codes with reasonable redundancy coding can qualify high data reliability and availability without adding excessive amounts of storage space. This paper studies the technologies of erasure codes for applications of cloud file system, including erasure codes type, coding object, coding time, data modification, data access method and data access performance. Then, it discusses the challenge and tradeoff to design erasure codes for cloud file system. Finally, it designs and implements an erasure coding prototype for cloud file system. The experiments show that erasure codes in cloud file system can effectively protect the data availability of cloud file system, and save storage space.

Key words: cloud computing, cloud file system, redundancy, erasure code

程振东，栾钟治，孟由，李亮淑，和荣，杨婷婷，钱德沛，管刚，陈伟. 云文件系统中纠删码技术的研究与实现[J]. 计算机科学与探索, 2013, 7(4): 315-325.

CHENG Zhendong1+, LUAN Zhongzhi1, MENG You, LI Liangshu, HE Rong, YANG Tingting, QIAN Depei, GUAN Gang, CHEN Wei. Research and Implementation on Erasure Code in Cloud File System[J]. Journal of Frontiers of Computer Science and Technology, 2013, 7(4): 315-325.

[1]	吴虹佳，刘芳，刘斌，蔡志平. 分散计算：技术、应用与挑战[J]. 计算机科学与探索, 2020, 14(5): 721-730.
[2]	郑良汉，何亨，童潜，杨湘，陈享. 云环境中的多授权机构访问控制方案[J]. 计算机科学与探索, 2020, 14(11): 1865-1878.
[3]	张胜霞，田呈亮. 在幺模矩阵加密方法下的安全外包算法[J]. 计算机科学与探索, 2020, 14(1): 73-82.
[4]	陈彦橦，裴树军，苗辉. 云科学工作流截止期限约束代价优化调度算法[J]. 计算机科学与探索, 2019, 13(8): 1307-1318.
[5]	任晓莉，杨建卫，李乃乾. 云计算中基于动态虚拟化电子流密码的安全存储[J]. 计算机科学与探索, 2019, 13(8): 1331-1340.
[6]	赵倩，谢上钦，韩轲，龚青泽，冯光升，林俊宇. 远程直接内存访问与检查点相结合的容器迁移[J]. 计算机科学与探索, 2019, 13(12): 1995-2007.
[7]	石祥滨，代海龙，张德园，刘翠微. 去除光流中冗余信息的动作预测方法[J]. 计算机科学与探索, 2019, 13(10): 1745-1753.
[8]	李勇，滕飞，黄齐川，李天瑞. 基于Spark的时间序列并行分解模型[J]. 计算机科学与探索, 2018, 12(7): 1055-1063.
[9]	裴树军，宋冬梅，孔德凯. Map/Reduce下快速剪枝算法在复杂任务调度中的应用[J]. 计算机科学与探索, 2018, 12(1): 72-81.
[10]	刘沛东，安博，钟业弘，王虎，曹东刚. 私有云环境下基于虚拟集群的资源共享方法[J]. 计算机科学与探索, 2017, 11(8): 1204-1213.
[11]	杨松霖，张广艳. 纠删码存储系统中数据修复方法综述[J]. 计算机科学与探索, 2017, 11(10): 1531-1544.
[12]	王虹旭，吴斌，刘旸. 基于Spark的并行图数据分析系统[J]. 计算机科学与探索, 2015, 9(9): 1066-1074.
[13]	宋宝燕，李雪城，任才，丁琳琳. 云环境下分层的中间数据容错方法[J]. 计算机科学与探索, 2015, 9(5): 546-554.
[14]	刘文懋，裘晓峰，陈鹏程，文旭韬，何新新，汪东升，李军. 面向SDN环境的软件定义安全架构[J]. 计算机科学与探索, 2015, 9(1): 63-70.
[15]	于炯，廖彬，张陶，孙华，国冰磊，杨兴耀. 云存储系统节能研究综述[J]. 计算机科学与探索, 2014, 8(9): 1025-1040.

云文件系统中纠删码技术的研究与实现

Research and Implementation on Erasure Code in Cloud File System

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics