Hadoop post-hook和job completation notification

Question

我想将Hadoop作业输出导入Hive表。如何在map-reduce作业/流程中实现后挂钩？或任何其他自动化选项？

此外，我会在完成工作后收到通知，例如向用户发送电子邮件。我发现了这个：https://issues.apache.org/jira/browse/HADOOP-1111，但我不太明白该怎么做，因为我刚接触地图减少。

感谢。

Answer 1

conf.set("mapreduce.job.end-notification.url","url")

会这样做。 url应该是http url，您将收到回调。

来自javadocs：

  

设置要按顺序调用的uri，以便在作业完成后发送通知（成功/失败）。

     

uri可以包含2个特殊参数：$ jobId和$ jobStatus。如果存在，则分别由作业的标识符和完成状态替换。

     

这通常由应用程序编写者用来以异步方式实现Map-Reduce作业的链接。

请注意，较旧的hadoop版本使用job.end.notification.url 它已在较新版本中弃用，转而使用mapreduce.job.end-notification.url。

参考mapred-default.xml#mapreduce.job.end-notification.url。