我基本上是一名.net程序员,我的任务是使用SPARK和Cassandra分析数据。我正在寻找一个与SPARK合作的C#API,我发现了Mobius(因为我不知道JAVA)。我开始从GitHub下载Mobius项目,并根据windows的构建我按照上面提到的步骤进行操作,但是无法使其工作。我有以下问题。
1)我在Ubuntu机器上有一个DataStax企业,我的Cassandra和SPARK可用(独立)。现在我想从我的.NET项目连接到SPARK,然后在Cassandra中处理数据。我可以这样做吗?我想在调试模式下这样做?我将只使用SPARK-SQL,因为我对SQL很满意。
2)是否必须在我的Windows机器上安装SOLR和SPARK以便Mobius工作?我能从Windows SPARK和Mobius连接到CASSANDRA(Ubuntu机器)吗?
3)当我运行命令“ sparkclr-submit.cmd debug ”以获取 CSharpBackendPortNumber 的值时,我收到错误“ load-spark-env.cmd “缺失。我在哪里可以找到这个文件,我如何获得CSharpBackendPortNumber的值?是否有必要在我的Windows机器上安装SPARK?
答案 0 :(得分:0)
使用Windows客户端连接到Linux中基于YARN的Spark群集是Mobius支持/验证的方案。我从未尝试过使用基于Linux的独立Spark群集的Mobius的Windows客户端。我建议首先使用Linux机器作为Mobius客户端来验证Mobius中的基本功能。
Mobius不需要Solr。您应该能够使用Mobius连接到任何操作系统中部署的Cassandra。
load-spark-env.cmd是Spark版本的一部分。在运行sparkclr-submit.cmd