我有一个带有6个节点的Cassandra集群。我安装了 Spark 和 Thrift 服务器,以便我们可以使用Tableu连接到Cassandra数据库。我们有一个主Spark节点和2个工作节点的设置。
我按如下方式启动thrift服务器:
/usr/local/spark/sbin/start-thriftserver.sh —-master spark://<spark-
master>:7077 –hiveconf hive.server2.thrift.port 10015 --jars
/var/spark-connector/jars/spark-cassandra-connector-2.0.0-M2-s_2.11.jar
--driver-class-path /var/spark-connector/jars/spark-cassandra-
connector-2.0.0-M2-s_2.11.jar --conf spark.cassandra.connection.host="
<i.p1>,<i.p2>,<i.p3>,<i.p4>,<i.p5>,<i.p6>" --driver-memory 5G --
executor-memory 5G
我可以转到http://spark-master:8080/
并查看刚刚开始的Thrift服务器。
现在,我正在使用直线连接:
!connect jdbc:hive2://spark-master:10000
我可以在Cassandra的键空间中为spark创建视图并运行查询,但它们都没有实际使用spark集群。这意味着,我在Spark Master UI中看不到任何工作。
我错过了一些非常基本的东西吗? 我甚至可以直接使用Spark Master吗?
注意:我有Thrift Server,Spark Master在同一节点上运行。