标签: google-bigquery google-cloud-storage
将数据从GCS加载到BQ时,是否可以设置“max_bad_records”选项,没有限制,如:
bq load --max_bad_records=1 \ prj:dst.tbl gs://bkt/very_large_and_very_messy.log \ ./schema/test.schema
我想要它,因为我有非常凌乱的日志作为源,我想在加载时过滤那些不需要的jsons。欢迎任何更好的方式!
谢谢!