Question

当Apache Spark以独立群集模式运行时，它会使用多个端口用于（以及其他）驱动程序和执行程序/工作程序之间的不同类型的网络通信。

在spark版本1.1.0中，他们添加了许多属性以允许配置使用的端口，并为此开发了指南：http://spark.apache.org/docs/latest/security.html#configuring-ports-for-network-security但似乎只能控制服务器端口，即正在监听的端口

但是，我没有找到控制客户端端口的方式，火花执行器/工作人员将打开以连接到驱动程序。我的驱动程序在tomcat中运行，我必须在我的catalina.policy中非常具体，只允许特定的IP地址/端口。

那么，有没有办法可以控制Spark使用的所有端口在运行驱动程序的tomcat的catalina.policy中配置套接字权限，以便它能够与执行者/工作者进行通信？

修改我在tomcat方面遇到的错误是：

2014-09-19 16:55:42,437 [New I/O server boss #6] WARN  T:[] V:[]o.j.n.c.s.nio.AbstractNioSelector - Failed to accept a connection.
java.security.AccessControlException: access denied ("java.net.SocketPermission" "<worker IP address>:44904" "accept,resolve")
    at java.security.AccessControlContext.checkPermission(AccessControlContext.java:372) ~[na:1.7.0_67]
    at java.security.AccessController.checkPermission(AccessController.java:559) ~[na:1.7.0_67]
    at java.lang.SecurityManager.checkPermission(SecurityManager.java:549) ~[na:1.7.0_67]
    at java.lang.SecurityManager.checkAccept(SecurityManager.java:1170) ~[na:1.7.0_67]
    at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:261) ~[na:1.7.0_67]
    at org.jboss.netty.channel.socket.nio.NioServerBoss.process(NioServerBoss.java:100) ~[netty-3.6.6.Final.jar:na]
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:312) ~[netty-3.6.6.Final.jar:na]
    at org.jboss.netty.channel.socket.nio.NioServerBoss.run(NioServerBoss.java:42) ~[netty-3.6.6.Final.jar:na]
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [na:1.7.0_67]
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [na:1.7.0_67]
    at java.lang.Thread.run(Thread.java:745) [na:1.7.0_67]

Answer 1

客户端端口通常在运行时动态确定。

服务器端口是初始客户端请求连接的端口，因为正在处理初始请求，连接将“完成”，其中（除其他外）在请求机器上打开“客户端”端口获取回复信息。通常，此客户端端口嵌入在初始请求中，并从客户端操作系统（或至少是客户端网络堆栈的tcp层）中配置的范围中提取。

如果可以将客户端配置为仅提供一个端口，则可能会引入问题，因为当您运行客户端程序的两个实例时，后续实例将无法从服务器端口打开其输入，并且第一个客户端会得到客户请求的响应。

当您看到服务器无法打开客户端（响应）端口时，您可能需要检查（按此顺序）

从服务器到客户端的网络路径（可以与从客户端到服务器的网络路径不同）。如果没关系......
客户端防火墙配置。可能是过热的防火墙配置可能会阻止通过阻止客户端端口范围来完成客户端连接请求的请求。
客户端软件/系统配置。虽然非常罕见，但有时人们会将其系统配置为将客户端端口置于可支持的范围之外（这似乎不是您的情况）。通常是65535。

您可能遇到花园种类网络问题，但可能是防火墙问题（或过度热心的病毒扫描程序/防火墙解决方案）。

Apache Spark网络端口配置

1 个答案: