气流AWS EMR操作员之间的成功连接不一致

时间:2018-09-17 17:47:53

标签: amazon-web-services airflow amazon-emr

我有一个简单的DAG设置,它包含两个步骤,第一步是包含一个步骤的EmrAddStepsOperator,然后是EmrStepSensor,其中将step_id参数模板化为返回值EmrAddStepsOperator的值。

我已验证step_id参数已正确插入EmrStepSensor任务中。

我遇到的问题是EmrAddStepsOperator将成功完成,但是EmrStepSensor任务将失败,并出现以下错误:

cryptography.exceptions.InvalidSignature: Signature did not match digest.

看来EmrStepSensor任务无法连接到AWS,但是我没有在两个任务之间更改任何凭证,因此我不确定发生了什么。有人有见识吗?我想我可能只会放弃这种方法,而是编写自己的运算符将步骤添加到EMR集群中,并等待这些步骤在同一任务中完成。

0 个答案:

没有答案