我有一个简单的DAG设置,它包含两个步骤,第一步是包含一个步骤的EmrAddStepsOperator
,然后是EmrStepSensor
,其中将step_id
参数模板化为返回值EmrAddStepsOperator
的值。
我已验证step_id
参数已正确插入EmrStepSensor
任务中。
我遇到的问题是EmrAddStepsOperator
将成功完成,但是EmrStepSensor
任务将失败,并出现以下错误:
cryptography.exceptions.InvalidSignature: Signature did not match digest.
看来EmrStepSensor
任务无法连接到AWS,但是我没有在两个任务之间更改任何凭证,因此我不确定发生了什么。有人有见识吗?我想我可能只会放弃这种方法,而是编写自己的运算符将步骤添加到EMR集群中,并等待这些步骤在同一任务中完成。