我们的DataFlow作业从GS文件夹中读取两个文本文件,转换它们,然后在将它们写入BigQuery数据集之前将它们合并在合并步骤之前失败:
Unable to rename output files from gs://xxx to gs://xxxx
似乎在合并开始之前删除了临时文件?
答案 0 :(得分:1)
找到问题! 由于数据格式错误,FlatMap函数中的一个失败了。提示其他遇到类似问题的人:首先使用DirectRunner调试所有map / pardo / etc函数!