基本信息

---

下载

文档摘要

---

单元五大数据的离线处理MapReduce;?掌握Map和Reduce阶段的作用和创建

?掌握MapReduceJava开发项目的搭建

?熟悉HadoopWritable中的各种数据类型

?熟悉MapReduce开发环境安装配置

?熟悉Shuffle、Partition、Combiner等组件的作用

?理解实时处理与离线处理;5.1离线处理技术MapReduce ;MR在进行数据处理时，会将运算任务视为一个job（作业），job的生命周期从任务提交开始，到任务完成，退出MR时结束。因此，如果有新的数据需要处理时，必须重新提交。这种任务模型只适合于对时效要求不高的离线型运算任务。