无法重命名输出文件

时间:2017-05-31 17:49:07

标签: google-cloud-dataflow

我们的DataFlow作业从GS文件夹中读取两个文本文件,转换它们,然后在将它们写入BigQuery数据集之前将它们合并在合并步骤之前失败:

Unable to rename output files from gs://xxx to gs://xxxx

似乎在合并开始之前删除了临时文件?

1 个答案:

答案 0 :(得分:1)

找到问题! 由于数据格式错误,FlatMap函数中的一个失败了。提示其他遇到类似问题的人:首先使用DirectRunner调试所有map / pardo / etc函数!