我在Dataflow作业中看到可能与库版本控制有关的奇怪错误

时间:2017-10-03 22:44:39

标签: google-cloud-dataflow

错误的范围从404s,IOExceptions或编码异常。它们可以隐藏在错误堆栈中,偶尔也会出现版本问题。

如何预防或解决此类错误?

1 个答案:

答案 0 :(得分:3)

Dataflow服务的SDK和worker依赖于常见的第三方组件,这些组件本身会导入各种依赖项。版本冲突可能导致服务中出现意外行为。如果您在代码中使用任何这些软件包,请注意某些库不是向前兼容的,您可能需要固定在执行期间将在范围内的所列版本。为了确定您的JAR是否具有正在使用的冲突版本,请考虑检查项目的依赖关系树。如果您怀疑此处有问题,请咨询list of specifically pinned versions,并避免使用" latest"对于任何这些库。