mapreduce 参数调优

mapreduce 参数调优

mapreduce.task.io.sort.factor: mr 程序进行合并排序的时候，打开的文 件数量，默认为 10 个.mapreduce.task.io.sort.mb: mr 程序进行合并排序操作的时候或者 mapper 写数据的时候，内存大小，默认 100Mmapreduce.map.sort.spill.percent： mr 程序进行 flush 操作的阀值， 默认 0.80。mapreduce.reduce.shuffle.parallelcopies：mr 程序 reducer copy 数据的线程数，默认 5。mapreduce.reduce.shuffle.input.buffer.percent: reduce 复制 map 数据的时候指定的内存堆大小百分比，默认为 0.70，适当的增加该值可以减少 map 数据的 磁盘溢出，能够提高系统性能。mapreduce.reduce.shuffle.merge.percent：reduce 进行 shuffle 的 时候，用于启动合并输出和磁盘溢写的过程的阀值，默认为 0.66。如果允许，适当增大其 比 例 能 够 减 少 磁 盘 溢 写 次 数 ， 提 高 系 统 性 能 。 同 mapreduce.reduce.shuffle.input.buffer.percent 一起使用。mapreduce.task.timeout：mr 程序的 task 执行情况汇报过期时间，默认600000(10 分钟)，设置为 0 表示不进行该值的判断。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。