Question

我的工作有3个任务 1）使用POST请求获取令牌 2）获取令牌值并存储在变量中 3）使用第2步中的令牌发出GET请求，并传递不记名令牌

问题是第3步不起作用，并且我收到HTTP错误。我能够在第2步中打印令牌的值，并在代码中进行了验证

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': airflow.utils.dates.days_ago(2),
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}
token ="mytoken" //defined with some value which will be updated later

get_token = SimpleHttpOperator(
        task_id='get_token',
        method='POST',
        headers={"Authorization": "Basic xxxxxxxxxxxxxxx=="},
        endpoint='/token?username=user&password=pass&grant_type=password',
        http_conn_id = 'test_http',
        trigger_rule="all_done",
        xcom_push=True,
        dag=dag
    )

def pull_function(**context):
    value = context['task_instance'].xcom_pull(task_ids='get_token')
    print("printing token")
    print value
    wjdata = json.loads(value)
    print(wjdata['access_token'])
    token=wjdata['access_token']
    print token


run_this = PythonOperator(
    task_id='print_the_context',
    provide_context=True,
    python_callable=pull_function,
    dag=dag,
)

get_config = SimpleHttpOperator(
        task_id='get_config',
        method='GET',
        headers={"Authorization": "Bearer " + token},
        endpoint='someendpoint',
        http_conn_id = 'test_conn',
        trigger_rule="all_done",
        xcom_push=True,
        dag=dag
    )

get_token >> run_this >> get_config

Answer 1

将token存储为“全局”变量的方式将不起作用。 Dag定义文件（定义任务的脚本）与用于执行每个任务的运行时上下文不同。每个任务都可以在单独的线程，进程中运行，甚至可以在另一台机器上运行，具体取决于执行者。在任务之间传递数据的方式不是通过全局变量，而是使用XCom-您已经完成了部分工作。请尝试以下操作： -远程全局token变量 -在pull_function中执行print token而不是return token-这将再次将值推入XCom，以便下一个任务可以访问它 -在下一个任务中从XCom访问令牌。

由于您正在使用SimpleHttpOperator，所以最后一步有些棘手，并且只有模板字段是endpoint和data，而不是headers。例如，如果您想从上一个任务的XCom中传递一些data，则可以执行以下操作：

get_config = SimpleHttpOperator(
        task_id='get_config',
        endpoint='someendpoint',
        http_conn_id = 'test_conn',
        dag=dag,
        data='{{ task_instance.xcom_pull(task_ids="print_the_context", key="some_key") }}'
    )

但是不幸的是，您无法对标头执行相同的操作，因此您必须通过PythonOperator“手动”执行此操作，或者可以继承SimpleHttpOperator并创建自己的标头，例如：

class HeaderTemplatedHttpOperator(SimpleHttpOperator):
    template_fields = ('endpoint', 'data', 'headers')  # added 'headers' headers

然后使用那个，就像：

get_config = HeaderTemplatedHttpOperator(
        task_id='get_config',
        endpoint='someendpoint',
        http_conn_id = 'test_conn',
        dag=dag,
        headers='{{ task_instance.xcom_pull(task_ids="print_the_context") }}'
    )

请记住，我没有对此进行测试，这只是出于解释概念的目的。尝试这种方法，您应该到达那里。

如何在气流中传递承载令牌

1 个答案: