如何在HDInsight群集中运行oozie作业?

时间:2015-07-27 19:44:41

标签: azure oozie hdinsight

我有一个oozie工作流程,我想在HDInsight群集上运行。我的工作有一个jar文件以及我存储在Azure blob存储上的workflow.xml文件。但是,我发现存储job.config文件的唯一方法是在HDInsight头节点的本地存储上。但是,我关心的是当VM重新成像时会发生什么?它删除了我的job.config文件吗?

1 个答案:

答案 0 :(得分:0)

通常,您可以在HDInsight上使用Script Actions。脚本操作在配置期间在HDInsight群集上执行自定义。因此,每次创建集群时,都会运行脚本。 (你很聪明地担心重新创建集群时会发生什么!)

these advanced configuration options中,它使用PowerShell在供应过程中显示HDInsight群集自定义。有一个oozie部分:

# oozie-site.xml configuration
$OozieConfigValues = new-object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightOozieConfiguration'
$OozieConfigValues.Configuration = @{ "oozie.service.coord.normal.default.timeout"="150" }  # default 120

这有帮助吗?

其他资源:
Customizing HDInsight Cluster provisioning
Oozie tutorial on HDInsight