根据SparkJobServer文档:
validate允许对上下文和任何上下文进行初始验证 提供配置。如果上下文和配置都可以运行作业,则返回spark.jobserver.SparkJobValid将让作业执行,否则 返回spark.jobserver.SparkJobInvalid(reason)会阻止作业运行并提供传达失败原因的方法。在这种情况下,调用会立即返回HTTP / 1.1 400错误请求状态代码。 validate可以帮助您防止由于丢失或错误配置而最终失败的作业,并节省时间和资源。
因此,我可以假设在validate()
之前始终会调用runJob()
吗?
如果我在validate()
中加载并验证作业配置,我的runJob()
是否可以假设它已正确加载并且在validate()
离开时可用?
答案 0 :(得分:1)