有没有办法在写入BigqueryIO时设置最大错误记录数?似乎将默认值保持为0。
答案 0 :(得分:2)
目前,遗憾的是,我们无法直接在云数据流中设置与configuration.load.maxBadRecords
相关的BigQueryIO
值。
作为一种变通方法,您应该能够应用自定义ParDo
转换来过滤"不良记录"在它们传递给BigQueryIO.Write
之前。因此,BigQuery不应该得到任何"不良记录"。希望这有帮助。
如果控制configuration.load.maxBadRecords
的能力对您很重要,欢迎您在issue tracker of our GitHub repository中提交功能请求。