计算机科学与探索 ›› 2015, Vol. 9 ›› Issue (5): 546-554.DOI: 10.3778/j.issn.1673-9418.1405049
宋宝燕,李雪城,任 才,丁琳琳+
SONG Baoyan, LI Xuecheng, REN Cai, DING Linlin+
摘要: 通常在云计算框架的处理过程中会产生大量的、短暂的,同时又非常重要的中间数据。一旦有服务器失效,将会导致中间数据失效,进而影响整个任务的计算。现有的数据容错处理方法仅仅采用简单的复制策略,没有考虑中间数据的特点,会带来庞大的网络开销。因此,提出了一种有效的分层中间数据容错方法,即IDF_Support(intermediate data fault-tolerance_support)方法。通过将计算任务划分为不同类别,IDF_Support方法能够有效地处理中间数据失效。提出了分层的中间数据容错算法,分别是用于解决一个任务内部容错的中间数据容错算法(Inner_Task IDF)和用于解决任务间容错的中间数据容错算法(Outer_Task IDF)。实验结果表明,这些算法在机器出现故障的情况下提高了作业响应时间,保证了系统的可靠性。