如何在作业完成后更改distributedCache的内容？

Question

有没有办法在作业完成后更改与distributedCache关联的文件的内容，并在另一个map / reduce作业中用作新的distributedCache？

Answer 1

检查TrackerDistributedCacheManager.java代码以获取更多详细信息。 Hadoop保留有关使用DistributedCache中的文件的任务数的引用计数。如果计数降至0，则标记为删除的文件。因此，在作业结束时，DistributedCache中的文件将被清除，否则它们将继续在作业上堆积节点。

因此，您无法更改分布式缓存中的文件并在连续作业中使用它。