从BaseOperator到PythonOperator的气流或将参数传递给BaseOperator

时间:2018-08-16 08:07:58

标签: python-3.x architecture airflow

我在AirFlow中有DAG,其中包含两项任务:

  • 传感器(它每10秒扫描一次数据库并搜索新密钥)和
  • BuldingTask(通过XCom从Sensor接收新的扫描数据并创建新的数据行)。

BuldingTask从类BuildingChannel1继承,而类AbstractChannelBuilder(BaseOperator)BuldingTask继承。

此结构有效,但我必须对其进行重建。

我们有API,用于在另一个DB中编写有关创建频道的数据。

我想从此API发送请求(包含有关新数据的信息)以触发dag(AirFlow允许它,因为有过期的api)。

如何使用新信息将参数(URL中的conf键)传递给PythonOperatorpython_callable可以收到此参数,但是$params = array ( 'ACL' => <ACL>, 'SourceFile' => <Local file>, 'Bucket' => <bucketName>, 'Key' => < File path >, 'ContentType' => <MIME type>, 'Content-Disposition' => 'attachment; filename=test.pdf' ); putObject($params); 会很大。

0 个答案:

没有答案