气流：本地操作员与容器

Question

我正在使用Airflow来安排各种批次和转换过程。在编写新流程时，我遇到了需要将BigQuery表转换为另一个表的情况。我有两种实现方法：

• 使用bigQuery_to_bigquery运算符
• 通过编写自己的容器来执行任务，然后使用Docker或Kubernetes运算符来调用它

使用第一种方法，我的工作将得到简化，并且不需要维护/调试任何东西。但是，我将把业务流程和转换结合在一起。使用第二种方法，业务流程将与转换分开，但随后我将不得不维护BigQuery API和连接。

看起来这两种方法都有其自身的优点和缺点。有建议的方法吗？

Answer 1

我建议使用本机运算符，尤其是对于简单的API调用（例如在BigQuery中运行查询）。我在生产中使用它们，效果很好。您也可以通过文件传递查询。

我建议您使用Docker或Kubernetes运算符，以防您需要使用自定义代码运行一些繁重的转换，您可以使用Python运算符直接在Airflow上进行转换。