IOError:随机关闭失败:内部:RPC错误:IO错误:/ var / shuffle / sorted-dataset-1 / 1891:设备上没有剩余空间

时间:2019-07-15 14:40:35

标签: google-cloud-dataflow

我正在尝试处理在bz2中压缩的〜600个xml文件,每个文件的范围从200MB到2GB。

我按标题中所示遇到了错误。我看到了两年前发布的关于stackoverflow的问题。答案指向不再存在的FAQ问题。答案建议使用自动缩放,但是当作业失败时我已经在使用它。

还有其他方法可以解决此问题吗?

我的工作编号是2019-07-14_13_04_05-9369076338245857803。

谢谢。

1 个答案:

答案 0 :(得分:0)

可以尝试的一些项目:

使用管道参数增加工作人员使用的磁盘大小

diskSizeGb

另一种选择是利用可在此处找到的洗牌服务详细信息:

Dataflow Shuffle Service

有关随机播放服务好处的更多详细信息,请参见此博客:

Blog

请在以下位置记录使用这些选项的价格注意事项:

Pricing