Apache Spark：如何更改Spark驱动程序侦听的端口

Question

我正在尝试以Yarn作为主人在客户端模式下运行Spark作业，我正面临一个特定的问题。日志显示 Yarn ApplicationMaster正在等待Spark驱动程序可以访问然后在某个时候抛出一个异常，说 Yarn ApplicationMaster无法连接到驱动程序10.60.18.77:34332 。现在，我知道IP是可以访问的，但端口不是因为防火墙阻止它。试图让管理员打开一个端口是乏味的。那么有没有办法让Yarn应用程序听另一个端口说20002，我知道它是开放的而不是34332？

Answer 1

您可以通过设置spark.driver.port=20002

来实现

例如，在你的spark-submit中你可以使用类似的东西：

$ spark-submit --master yarn-client --conf spark.driver.port=20002 ....