Question

我正在尝试使用“dse cassandra -k -s”在分析模式中调出datastax cassandra。我在单节点设置上使用DSE 5.0沙箱。

我已将spark-env.sh配置为SPARK_MASTER_IP以及SPARK_LOCAL_IP指向我的LAN IP。

export SPARK_LOCAL_IP="172.40.9.79"
export SPARK_MASTER_HOST="172.40.9.79"
export SPARK_WORKER_HOST="172.40.9.79"
export SPARK_MASTER_IP="172.40.9.79"

以上所有变量均在spark-env.sh中设置。

尽管如此，工人不会上来。它一直在寻找127.0.0.1的主人。这是我在/var/log/cassandra/system.log中看到的错误

WARN  [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077
java.io.IOException: Failed to connect to /127.0.0.1:7077

dse client-tool的结果显示127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address
spark://127.0.0.1:7077

但是，我可以从LAN IP 172.40.9.79

访问spark web UI

Spark Web UI screenshot

非常感谢任何帮助

Answer 1

尝试在文件spark-defaults.conf中添加以下参数：spark.master local [*]或spark.master 172.40.9.79。也许这解决了你的问题

Datastax Spark worker始终在127.0.0.1

1 个答案: