在数据流中调试DoFn的processElement部分的最佳方法是什么

Question

我正在努力调试数据流中DoFn的processElement下的代码。我不认为我可以逐步完成这一部分，因为它会启动多个线程甚至在我的本地机器上运行（DirectRunner），有什么建议吗？

Answer 1

所以你没有提供有关你环境的任何信息。首先，我看到beam-sdk和Versions＆lt;之间存在差异。 2。 当使用版本1.9.0并在Eclipse中运行DirectRunner和调试模式时，可以在DoFn中设置断点，并且可以像往常一样进行调试。对于梁版本，目前，我无法在DoFn内部进行调试。也许这会对你有所帮助。

Answer 2

我这样做的方法是确保只有一个输入进入管道，因此只运行一次代码。 例如，如果您的管道从PubSub读取，您可以在调试时注册到DEV订阅并发送一条消息进行调试。