无法将DSE Spark Standalone Master绑定到公共IP

时间:2016-01-13 02:27:23

标签: apache-spark datastax-enterprise

我无法在EC2节点的公共IP上绑定Standalone Spark Master。

我尝试过设置SPARK_MASTER_IP& spark_env.sh中的SPARK_LOCAL_IP到公共IP。 我也尝试在cassandra.yaml中更改broadcast_address和broadcast_rpc_address。 但是,如某些人所建议的那样更改rpc_address会导致

ERROR [main] 2016-01-12 18:27:59,542 DseDaemon.java:358 - Unable to start DSE server.
java.lang.IllegalStateException: Failed to bind port 9042 on 54.183.171.210.
    at org.apache.cassandra.transport.Server.run(Server.java:198) ~[cassandra-all-2.1.11.969.jar:2.1.11.969]
    at org.apache.cassandra.transport.Server.start(Server.java:120) ~[cassandra-all-2.1.11.969.jar:2.1.11.969]
    at org.apache.cassandra.service.CassandraDaemon.start(CassandraDaemon.java:492) [cassandra-all-2.1.11.969.jar:2.1.11.969]
    at com.datastax.bdp.server.DseDaemon.start(DseDaemon.java:353) ~[dse-core-4.8.3.jar:4.8.3]
    at org.apache.cassandra.service.CassandraDaemon.activate(CassandraDaemon.java:575) [cassandra-all-2.1.11.969.jar:2.1.11.969]
    at com.datastax.bdp.DseModule.main(DseModule.java:74) [dse-core-4.8.3.jar:4.8.3]

端口7077当然可以通过公共IP访问,但是从远程计算机提交作业会让akka抱怨丢弃消息,因为它只是想接受来自本地IP的请求。

ERROR [sparkMaster-akka.actor.default-dispatcher-479] 2016-01-13 02:24:46,337 Slf4jLogger.scala:65 - dropping message [class akka.actor.ActorSelectionMessage] for non-local recipient [Actor[akka.tcp://sparkMaster@54.183.171.210:7077/]] arriving at [akka.tcp://sparkMaster@54.183.171.210:7077] inbound addresses are [akka.tcp://sparkMaster@10.0.14.5:7077]

想知道我怎样才能拥有一个可公开访问的Spark Master。

0 个答案:

没有答案