标签: apache-spark
我的集群在我们的网关节点(安装了spark)和主/数据节点(安装了yarn)之间设置了防火墙。在yarn-client模式下运行spark应用程序时,驱动程序和执行程序必须通过防火墙通过打开的端口进行通信。
由于安全原因,我只能在网关和主节点之间的防火墙上打开一定范围的端口,而不能完全访问所有端口。
从文档看来,驱动程序端口只能分配给特定端口或完全随机的端口。如何将驱动程序端口绑定到一定范围的端口?