BigQueryValueCheckOperator和标准的sql

时间:2018-05-31 19:57:55

标签: google-bigquery airflow

我想知道是否有办法在apache airflow中使用带有气流BigQueryValueCheckOperator的标准sql 1.9气流BigQueryOperator通常有这样的标志

use_legacy_sql=False禁用旧版sql。我找不到使用BigQueryValueCheckOperator实现此目的的方法。

现在不能在遗留sql中重写查询,因为我想在where子句中使用_PARTITIONTIME

谢谢。

1 个答案:

答案 0 :(得分:2)

目前,您无法对此运算符使用 StandardSQL

但是,对于您的用例,您仍然可以将_PARTITIONTIME旧版Sql 一起使用,如文档中所述:https://cloud.google.com/bigquery/docs/querying-partitioned-tables#querying_ingestion-time_partitioned_tables_using_time_zones

示例查询:

#legacySQL
SELECT
  field1
FROM
  mydataset.partitioned_table
WHERE
  _PARTITIONTIME BETWEEN TIMESTAMP("2016-05-01")
  AND TIMESTAMP("2016-05-06")
  AND DATE_ADD([MY_TIMESTAMP_FIELD], 8, 'HOUR') BETWEEN TIMESTAMP("2016-05-01 12:00:00")
  AND TIMESTAMP("2016-05-05 14:00:00");