我正在与Spark和Cassandra合作,总的来说,事情是直截了当的,并按预期工作;特别是spark-shell和运行.scala进程以获得结果。
我现在正在考虑使用Spark Job Server;我已经启动并运行了作业服务器并且正在按预期为两个测试项目工作,以及一些初始的,简单的.scala开发。
但是我现在想要使用一个在spark-shell中工作的.scala程序并将其放到Spark作业服务器上以通过该机制进行访问。我遇到的问题是,作业服务器似乎无法识别cassandra周围的import语句,并且无法构建(sbt compile; sbt包)一个用于上传到作业服务器的jar。
在某种程度上,我看起来需要作业服务器等效于Spark作业服务器上的spark shell包交换机(--packages datastax:spark-cassandra-connector:2.0.1-s_2.11),以便导入com.datastax.spark.connector._和.scala文件中的类似代码将起作用。
目前,当我尝试构建(sbt complie)时,我得到的消息如下: [error] /home/SparkCassandraTest.scala:10:object datastax不是package com的成员 [error] import com.datastax.spark.connector ._
我根据搜索和留言板建议在build.sbt文件中添加了不同的项目;但没有真正的改变;如果这就是我应该添加到基本作业服务器以启用cassandra连接器使用的答案。
答案 0 :(得分:0)
我认为您需要spark-submit来执行此操作。我也和Spark和Cassandra一起工作,但只有一个月;所以我需要阅读很多信息。我已经在repository编译了这个信息,也许这对你有帮助,但是这是一个alpha版本,抱歉。