将火花限制为使用一定范围的端口而不是随机端口

时间:2018-08-07 19:50:01

标签: apache-spark

我的集群在我们的网关节点(安装了spark)和主/数据节点(安装了yarn)之间设置了防火墙。在yarn-client模式下运行spark应用程序时,驱动程序和执行程序必须通过防火墙通过打开的端口进行通信。

由于安全原因,我只能在网关和主节点之间的防火墙上打开一定范围的端口,而不能完全访问所有端口。

从文档看来,驱动程序端口只能分配给特定端口或完全随机的端口。如何将驱动程序端口绑定到一定范围的端口?

0 个答案:

没有答案