我想知道是否有办法在apache airflow中使用带有气流BigQueryValueCheckOperator的标准sql 1.9气流BigQueryOperator通常有这样的标志
use_legacy_sql=False
禁用旧版sql。我找不到使用BigQueryValueCheckOperator实现此目的的方法。
现在不能在遗留sql中重写查询,因为我想在where子句中使用_PARTITIONTIME
。
谢谢。
答案 0 :(得分:2)
目前,您无法对此运算符使用 StandardSQL 。
但是,对于您的用例,您仍然可以将_PARTITIONTIME
与旧版Sql 一起使用,如文档中所述:https://cloud.google.com/bigquery/docs/querying-partitioned-tables#querying_ingestion-time_partitioned_tables_using_time_zones
示例查询:
#legacySQL
SELECT
field1
FROM
mydataset.partitioned_table
WHERE
_PARTITIONTIME BETWEEN TIMESTAMP("2016-05-01")
AND TIMESTAMP("2016-05-06")
AND DATE_ADD([MY_TIMESTAMP_FIELD], 8, 'HOUR') BETWEEN TIMESTAMP("2016-05-01 12:00:00")
AND TIMESTAMP("2016-05-05 14:00:00");