SparkJobServer - 在runJob()之前始终调用validate()

时间:2016-04-06 17:04:51

标签: spark-jobserver

根据SparkJobServer文档:

  

validate允许对上下文和任何上下文进行初始验证   提供配置。如果上下文和配置都可以运行作业,则返回spark.jobserver.SparkJobValid将让作业执行,否则   返回spark.jobserver.SparkJobInvalid(reason)会阻止作业运行并提供传达失败原因的方法。在这种情况下,调用会立即返回HTTP / 1.1 400错误请求状态代码。   validate可以帮助您防止由于丢失或错误配置而最终失败的作业,并节省时间和资源。

因此,我可以假设在validate()之前始终会调用runJob()吗?

如果我在validate()中加载并验证作业配置,我的runJob()是否可以假设它已正确加载并且在validate()离开时可用?