BigQueryCheckOperator失败，Cloud Composer中出现404错误

Question

我在Airflow中使用BigQueryCheckOperator来了解BQ表中是否存在数据，但是Dag失败了，ERROR - <HttpError 404 when requesting https://bigquery.googleapis.com/bigquery/v2/projects/

Here is the logs of the Dag

有人可以告诉我如何解决此问题吗？

Answer 1

这是已知的气流问题，它查询一些Bigquery运算符submodules中非多区域位置（ US，EU ）中的Bigquery数据集，拉请求#8273具有已经提出来了。

您也可以签出this堆栈线程以获取最准确的问题说明。

现在，已经宣布将在Airflow 2.0版本中解决此问题，但是为了帮助使用较旧版本的Airflow 1.10。*的用户，社区小组已被Backport package推动，并将在以后的版本中进行考虑。为GCP Composer构建气流图像。

寻找解决方法，您可以尝试调整let调用BashOperator command-line工具，以对特定DAG文件中的Bigquery数据集执行某些操作。