网站首页 美食营养 游戏数码 手工爱好 生活家居 健康养生 运动户外 职场理财 情感交际 母婴教育 时尚美容

大数据mapreduce工作流程详解通俗易懂

时间:2024-10-16 20:47:43

1、每个block会有map任务,block逻辑切分为切片,每个切片对应一个map任务,默认一个block,一个切片,一个map任务。map默认按行读取数据,组成键值对<字节偏移量,"行数据">,然后计算输出,新的键值对<key,value,partition>。

大数据mapreduce工作流程详解通俗易懂

3、默认小文件数量达到了三个,就会进行归并,归并的新文件也是按分区号,key排序好了的。map任务完成后,它的输出文件会被按照http get的方式下载到reduce任务的主机。

大数据mapreduce工作流程详解通俗易懂

5、reduce按照key分组,每组执行一次reduce方法,该方法迭代计算,将结果写入到hdfs,reduce是并发处理的

大数据mapreduce工作流程详解通俗易懂
© 2025 小知经验
信息来自网络 所有数据仅供参考
有疑问请联系站长 site.kefu@gmail.com