oozie工作流程在Azure HDInsight Spark2集群中每1分钟而不是10分钟进行调度

时间:2017-07-14 19:25:25

标签: azure apache-spark oozie hdinsight

我已在Azure HDInsight群集中使用coordinator.xml安排了我的oozie工作流程。

由oozie安排的火花作业的时间间隔是10分钟,但我的火花作业每隔一分钟就会运行。

我的coordinator.properties:

startTime=2017-07-04T12:49Z
endTime=2017-07-05T12:44Z
timeZone=UTC
concurrency=1
frequency=12
workflowRoot=${oozie.coord.application.path}
nameNode=wasb://demospark-2017-07-04t05-15-35-507z@edmsparkdemo.blob.core.windows.net
jobTracker=hn0-edmspa.xxxsdf.hx.internal.cloudapp.net:8050
queueName=default
oozie.use.system.libpath=true
Spark_Master=yarn
Spark_Mode=cluster
Spark_Driver=locationDataMetrics.IdentificationMetrics
numExecutors=2
driverMemory=4G
executorMemory=2G
executorCores=2
workflowRoot=wasb://demospark-2017-07-04t05-15-35-507z@demospark.blob.core.windows.net/datainput9
oozie.coord.application.path=wasb://demospark-2017-07-04t05-15-35-507z@demospark.blob.core.windows.net/datainput9
sparkJar=demospark-0.0.1-SNAPSHOT.jar

我的coordinator.xml文件:

<coordinator-app end="${endTime}" frequency="${frequency}" name="oozieTimeCoordinator" start="${startTime}" timezone="${timeZone}" xmlns="uri:oozie:coordinator:0.1">
  <controls>
    <concurrency>${concurrency}</concurrency>
  </controls>
  <action>
    <workflow>
      <app-path>${workflowRoot}</app-path>
    </workflow>
  </action>
</coordinator-app>

如何修改此oozie工作流程安排程序以在10或15分钟内安排?

1 个答案:

答案 0 :(得分:0)

你能指定频率= 240并检查Oozie工作流程调度程序是否按照十分钟进行安排?

有关详细信息,请参阅“如何在Oozie中指定日程安排”:

Scheduling jobs

Frequency and Time=-Period Representation in Oozie