Hadoop参数说明

时间:2015-05-06 18:36:11

标签: caching hadoop mapreduce yarn mrv2

Hadoo-2.6具有documentation

中给出的以下参数
  • mapreduce.job.max.split.locations(为每个分区存储的最大块位置数以进行位置计算。如何在局部计算中使用它?)
  • mapreduce.job.split.metainfo.maxsize(拆分元信息文件的最大允许大小.PobTracker不会尝试读取大于配置值的拆分元信息文件。但是将它固定到某个值有什么好处?为什么我们不能灵活?)
  • mapreduce.job.counters.limit(每个作业的这些用户计数器是什么?我们为什么要限制它们?)
  • mapreduce.jobhistory.datestring.cache.size(日期字符串缓存的大小。影响将被扫描以查找作业的目录数。设置此限制的优势是什么?)
  • mapreduce.jobhistory.joblist.cache.size(作业列表缓存的大小。为什么我们使用此缓存?)
  • mapreduce.jobhistory.loadedjobs.cache.size(这与前一个有什么区别?)
  • mapreduce.jobhistory.move.thread-count(用于移动文件的线程数。它们仅用于移动历史文件,为什么需要此移动?)

它们是否适用于MRv1和MR; MRv2样式的作业执行?

0 个答案:

没有答案