错误后继续执行数据流管道

时间:2017-04-29 20:37:34

标签: google-cloud-dataflow

即使出现一些错误,有没有办法继续执行数据流作业? 我正在读取CSV文件以导入BigQuery,并且CSV中的一个值是一个字符串,而列是整数类型,所以我希望作业继续执行并忽略该问题。我在尝试插入第一行(即标题行)时遇到错误,然后我认为我只想忽略所有不良行并继续前进。

这是错误:

  

无法将值'string_value:“XXXX”'转换为整数。领域:   XXXX;价值:XXXX

我知道一个选项是通过尝试转换每个值来防止错误首先发生,如果异常没有尝试包含行,但在我看来应该有办法处理BQ例外,应该更简单。

1 个答案:

答案 0 :(得分:0)

目前BigQueryIO不支持此功能,但您可以按照JIRA查看进度https://issues.apache.org/jira/browse/BEAM-1151