标签: hadoop apache-pig mapper distributed-cache
我在Stackoverflow上经历了很多关于此的内容。但我仍然感到困惑。即使这是一个重复的问题或类似问题,请回答
我想在Pig中将一个文件与另一个文件进行比较,我希望其中一个文件位于分布式缓存中,以便每个映射器都在本地使用它。如何在Pig中实现它。
答案 0 :(得分:1)
使用以下
set mapred.cache.files /new_file_location/new_file.txt#new_file.txt
运送到每个映射器运行的位置。