标签： apache-spark jvm profiling
我知道如何在单个执行主机上完成这项工作，只需导出JMX端口。 但是一些潜在的性能问题只能在大型集群中发生，如果我们将JMX选项添加到＆＃34; spark.executor.extraJavaOptions＆＃34;，主机上多个执行器的监听地址将会发生冲突。
我也尝试启动一个jstatd守护进程，但是visualvm不能以这种方式进行cpu分析（它在UI上有消息）。
有没有办法在大规模集群中分析Spark应用程序，特别是确定每个线程在一段时间内做了什么以及cpu成本分析？不考虑商业工具。