描述在Google Dataflow上运行的Java应用程序

时间:2016-10-05 01:27:26

标签: java profiling google-cloud-dataflow

您是否知道如何分析在数据流工作器上运行的Java应用程序? 你知道任何可以让我发现应用程序内存泄漏的工具吗?

1 个答案:

答案 0 :(得分:2)

对于时间分析,您可以尝试此issue 72中描述的说明,但在将工作人员从工作人员中删除之前,工作人员可能会被拆除或自动缩放。不幸的是它没有提供内存分析,所以它无助于内存泄漏。

您还可以使用DirectPipelineRunner运行,DoFn将在您的计算机上本地执行管道。这将允许您分析管道中的代码,而无需处理Dataflow工作程序。根据管道的规模,您可能需要将输入大小调整为可在一台机器上处理的内容。

尝试区分在worker上运行的代码(例如,单个GroupByKey中的代码以及管道和数据的结构)也可能有所帮助。例如,内容不足的问题可能是因为$("td input[type='checkbox']:checked").length; 的值与单个键相关联的值过多,并将其读入列表中。