如何在运行时更改map-reduce作业的作业参数?

时间:2016-03-08 05:39:50

标签: java hadoop mapreduce bigdata

我写了一个地图工作,它占用了一堆推文和关键字列表,并发出了关键字的推文数量

manage.py test

现在我的关键字列表在map-reduce jar文件中是静态/硬编码的,我怎样才能使这个动态化?即我希望能够在运行时更改关键字?

最好的方法是什么?

1 个答案:

答案 0 :(得分:0)

从头到尾的多种方式:查询网络服务,读取文件。

在任何情况下,您可能都不想为您映射的每条记录执行此操作。使用缓存层(例如Guava)缓存外部数据源并使其无效(例如通过时间或修改)是相当常见的。