如何在Apache Beam大查询api中跳过无效行并忽略UnknowValues

时间:2018-01-11 12:39:56

标签: google-bigquery apache-beam

在Apache引擎中,我可以使用下面的代码

跳过无效值和未知值
.setSkipInvalidRows(true).setIgnoreUnknownValues(true)

现在我正在迁移到数据流(Apachebeam 2.2)。有没有办法跳过上面的无效行和未知值?

谢谢, Damodar Allareddy

1 个答案:

答案 0 :(得分:0)

似乎已添加到

https://github.com/apache/beam/commit/6e8398010a2001e0528e636730e373260be6b813

尽管它不在2.6(截至2018年8月的当前版本)中,但我希望它在发布时都在2.7中