我正在尝试在AWS EC2计算机上设置6节点DSE 5.1 spark群集。
我已经参考了DSE文档
刚开始，我打开了all TCP端口，当我检查日志时，我发现工作进程和执行程序进程和驱动程序进程正在使用下面的端口
33xxx
33xxx
33xxx
34xxx
34xxx
34xxx
35xxx
35xxx
35xxx
36xxx
37xxx
37xxx
39xxx
40xxx
40xxx
41xxx
41xxx
43xxx
43xxx
43xxx
43xxx
45xxx
46xxx
这里的范围是从33xxx到46xxx，打开端口的建议范围是什么？，或者有没有办法绑定工作端口和执行端口？
答案 0 :(得分：1)
默认情况下，端口选择是随机的
具体地
spark.blockManager.port
spark.driver.port
虽然您可以通过Spark Submit在SparkConf或CLI中设置它们来锁定这些值，但您需要确保每个应用程序都具有唯一值他们不会发生碰撞。
在大多数情况下，将驱动程序与群集保持在同一VPN中是有意义的。