如何在Datastax Enterprise中使用Cassandra启动Spark

时间:2017-01-18 20:34:55

标签: apache-spark cassandra datastax-enterprise spark-cassandra-connector

我最近在我的5节点集群中安装了DataStax Enterprise(v5.0)。我计划使用3个节点作为spark和2个节点作为cassandra多节点集群。

现在每当我尝试在我的火花节点中启动火花时 -

我收到以下错误 -

sudo dse spark 线程" main"中的例外情况java.io.IOException:无法在{127.0.0.1}:9042打开与Cassandra的本机连接         at com.datastax.spark.connector.cql.CassandraConnector $ .com $ datastax $ spark $ connector $ cql $ CassandraConnector $$ createSession(CassandraConnector.scala:160)

为什么火花会寻找卡桑德拉?在DSE中没有cassandra就没有办法启动火花吗?

我应该更改DSE中的哪些配置文件,以便spark连接到另一个节点上运行的cassandra(而不是在127.0.0.1:9042本地运行的那个)

1 个答案:

答案 0 :(得分:2)

当前不能(5.0)启动没有Cassandra的DSE节点。但仅仅因为你必须启动Cassandra并不意味着你必须使用它。只需确保您始终使用网络拓扑策略,DSE将仅在这些计算机上使用C *来获取八卦和架构信息。

也是一张便条 dse spark只是启动火花壳。它不会启动Spark Master和Worker基础结构。