拒绝拆分GroupedShuffleRangeTracker建议的拆分位置超出范围

时间:2018-01-29 22:22:38

标签: google-cloud-dataflow

我偶尔会收到以下错误:

  

W拒绝拆分    at' \ x00 \ x00 \ x00 \ x15 \ xbc \ x19)b \ x00 \ x01':建议   分割位置超出范围   [' \ X00 \ X00 \ X00 \ X15 \ X00 \ XFF \ X00 \ XFF \ X00 \ XFF \ X00 \ XFF \ X00 \ X01&#39 ;,   ' \ X00 \ X00 \ X00 \ X15 \ XBC \ X19)b \ X00 \ X01&#39)。最后一组的位置   处理过的是' \ x00 \ x00 \ x00 \ x15 \ xbc \ x19)\ x00 \ x01'。

当它发生时,每隔一段时间就会记录错误并且工作似乎永远不会结束。虽然它似乎确实完成了这项工作。

在最后一个例子中,我使用了10名工作人员并且禁用了自动缩放。我正在使用Apache Beam的Python实现。

1 个答案:

答案 0 :(得分:3)

这不是错误,它是管道正常运行的一部分。我们应该将其日志记录级别降低到INFO并对其进行重新定义,因为它经常会让人感到困惑。

此消息(相当模糊)表示Dataflow正在尝试应用dynamic rebalancing,但没有可以进一步细分的工作。

即。你的工作被困在少量工人身上做不可并行化的事情,而其他工人则处于闲置状态。要进一步调查,需要查看作业代码和Dataflow作业ID。