如何在运行时更改map-reduce作业的作业参数？

Question

我写了一个地图工作，它占用了一堆推文和关键字列表，并发出了关键字的推文数量

manage.py test

现在我的关键字列表在map-reduce jar文件中是静态/硬编码的，我怎样才能使这个动态化？即我希望能够在运行时更改关键字？

最好的方法是什么？

Answer 1

从头到尾的多种方式：查询网络服务，读取文件。

在任何情况下，您可能都不想为您映射的每条记录执行此操作。使用缓存层（例如Guava）缓存外部数据源并使其无效（例如通过时间或修改）是相当常见的。