群集模式下的Spark-submit会使应用程序视图无法使用？

Question

我使用Jenkins每小时运行spark-submit并设置--deploy-mode cluster。是推荐的方法吗？因为有些事似乎不起作用。

当我转到我的火花服务器，并按下应用程序名称时，它会尝试在该端口（防火墙）而不是服务器上转到我的计算机。使用--deploy-mode cluster我希望能够在火花大师身上看到这个，因为spark-submit会立即返回此模式。

另外，我似乎无法打开DAG。这有关系吗？

我使用的完整命令是spark-submit --master spark://mysparkserver:6066 --deploy-mode cluster --class someClass --conf spark.driver.userClassPathFirst=true http://theJarUrl

Answer 1

发现它！尽管您可以在spark master上启用事件日志记录，但您还需要使用spark-submit在--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/opt/spark/spark-events中指定它。通过单击应用程序名称可以在spark-master上观察事件。它还可以检查已完成的应用程序。

尽管DAG可视化对我来说仍然不起作用。如果有人对此有任何建议，请发表评论。