TaskTracker使用本地库

时间:2012-06-13 09:23:58

标签: hadoop mapreduce

当tasktracker被分配了一个任务时,tasktracker可能在本地系统上用库启动任务吗?

如果是,启用本地库的命令是什么?

1 个答案:

答案 0 :(得分:1)

本地HADOOP_HOME / lib中的所有jar都将被添加到类路径中,因此如果你想快速入侵,你可以把东西放在那里。

正确的方法是在开始工作之前向分布式缓存显式添加内容,然后该库将可用于Map Reduce作业的每个任务。

DistributedCache.addFileToClassPath(new Path("hdfs://path/to/lib.jar"), jobConf)