我偶尔会收到以下错误:
W拒绝拆分 at' \ x00 \ x00 \ x00 \ x15 \ xbc \ x19)b \ x00 \ x01':建议 分割位置超出范围 [' \ X00 \ X00 \ X00 \ X15 \ X00 \ XFF \ X00 \ XFF \ X00 \ XFF \ X00 \ XFF \ X00 \ X01&#39 ;, ' \ X00 \ X00 \ X00 \ X15 \ XBC \ X19)b \ X00 \ X01&#39)。最后一组的位置 处理过的是' \ x00 \ x00 \ x00 \ x15 \ xbc \ x19)\ x00 \ x01'。
当它发生时,每隔一段时间就会记录错误并且工作似乎永远不会结束。虽然它似乎确实完成了这项工作。
在最后一个例子中,我使用了10名工作人员并且禁用了自动缩放。我正在使用Apache Beam的Python实现。
答案 0 :(得分:3)
这不是错误,它是管道正常运行的一部分。我们应该将其日志记录级别降低到INFO并对其进行重新定义,因为它经常会让人感到困惑。
此消息(相当模糊)表示Dataflow正在尝试应用dynamic rebalancing,但没有可以进一步细分的工作。
即。你的工作被困在少量工人身上做不可并行化的事情,而其他工人则处于闲置状态。要进一步调查,需要查看作业代码和Dataflow作业ID。