从数据流加载Bigquery表时,我们如何设置maximum_bad_records?

时间:2015-08-09 12:18:32

标签: google-cloud-dataflow

有没有办法在写入BigqueryIO时设置最大错误记录数?似乎将默认值保持为0。

1 个答案:

答案 0 :(得分:2)

目前,遗憾的是,我们无法直接在云数据流中设置与configuration.load.maxBadRecords相关的BigQueryIO值。

作为一种变通方法,您应该能够应用自定义ParDo转换来过滤"不良记录"在它们传递给BigQueryIO.Write之前。因此,BigQuery不应该得到任何"不良记录"。希望这有帮助。

如果控制configuration.load.maxBadRecords的能力对您很重要,欢迎您在issue tracker of our GitHub repository中提交功能请求。