多MapReduce作业调度中面向全局完成时间优化的策略与实践

一、引言

1.1研究背景

在数字化浪潮的席卷下，大数据时代已然来临，数据量呈爆发式增长态势。国际数据公司（IDC）的研究结果显示，2008-2012年，全球数据量从0.49ZB迅速增长到2012年人类生产的所有印刷材料数据量（200PB）与全人类历史说话数据量（约5EB）总和的数倍，而到2020年，全世界所产生的数据规模更是达到了以往的44倍。随着5G、物联网、云计算、人工智能等技术的广泛应用，各行业数据如潮水般涌现，预计未来数据量还将持续高速增长。

面对如此海量的数据，传统的数据处理方式显得力不从心