我们可以使用Beeline连接到Spark Master吗?

时间:2018-03-03 22:47:27

标签: apache-spark cassandra beeline

我有一个带有6个节点的Cassandra集群。我安装了 Spark Thrift 服务器,以便我们可以使用Tableu连接到Cassandra数据库。我们有一个主Spark节点和2个工作节点的设置。

我按如下方式启动thrift服务器:

/usr/local/spark/sbin/start-thriftserver.sh —-master spark://<spark-
master>:7077 –hiveconf hive.server2.thrift.port 10015 --jars 
/var/spark-connector/jars/spark-cassandra-connector-2.0.0-M2-s_2.11.jar 
--driver-class-path /var/spark-connector/jars/spark-cassandra-
connector-2.0.0-M2-s_2.11.jar --conf spark.cassandra.connection.host="
<i.p1>,<i.p2>,<i.p3>,<i.p4>,<i.p5>,<i.p6>" --driver-memory 5G --
executor-memory 5G

我可以转到http://spark-master:8080/并查看刚刚开始的Thrift服务器。

现在,我正在使用直线连接:

!connect jdbc:hive2://spark-master:10000

我可以在Cassandra的键空间中为spark创建视图并运行查询,但它们都没有实际使用spark集群。这意味着,我在Spark Master UI中看不到任何工作。

我错过了一些非常基本的东西吗? 我甚至可以直接使用Spark Master吗?

注意:我有Thrift Server,Spark Master在同一节点上运行。

0 个答案:

没有答案