通过分布式缓存访问Pig中的文件

时间:2014-02-20 14:41:48

标签: hadoop apache-pig mapper distributed-cache

我在Stackoverflow上经历了很多关于此的内容。但我仍然感到困惑。即使这是一个重复的问题或类似问题,请回答

我想在Pig中将一个文件与另一个文件进行比较,我希望其中一个文件位于分布式缓存中,以便每个映射器都在本地使用它。如何在Pig中实现它。

1 个答案:

答案 0 :(得分:1)

使用以下

set mapred.cache.files /new_file_location/new_file.txt#new_file.txt

运送到每个映射器运行的位置。