即使出现一些错误,有没有办法继续执行数据流作业? 我正在读取CSV文件以导入BigQuery,并且CSV中的一个值是一个字符串,而列是整数类型,所以我希望作业继续执行并忽略该问题。我在尝试插入第一行(即标题行)时遇到错误,然后我认为我只想忽略所有不良行并继续前进。
这是错误:
无法将值'string_value:“XXXX”'转换为整数。领域: XXXX;价值:XXXX
我知道一个选项是通过尝试转换每个值来防止错误首先发生,如果异常没有尝试包含行,但在我看来应该有办法处理BQ例外,应该更简单。
答案 0 :(得分:0)
目前BigQueryIO
不支持此功能,但您可以按照JIRA查看进度https://issues.apache.org/jira/browse/BEAM-1151。