如何使用Google Cloud Dataflow增加Apache Beam管道工作线程的线程堆栈大小？

Question

由于线程堆栈用完了，我的Beam工作人员遇到了StackOverflowError，而且由于它在SqlTransform的运行中很深，因此减少调用的数量并不容易。

是否可以通过Google Cloud Dataflow或Beam自己的管道选项更改我的工作人员的JVM线程堆栈大小？

Answer 1

我认为没有简单的方法可以做到这一点。

• 如果这是由Cloud Logging清除的堆栈跟踪问题，则可能可以自己捕获异常并进行检查，而不是仅记录异常。
• 如果这是由JVM设置的默认堆栈跟踪深度不够的问题，那么我很遗憾今天没有办法为Dataflow更新此值。