面对在Window环境中安装Mobius的困难?

时间:2016-08-01 16:52:50

标签: c# apache-spark mobius

我基本上是一名.net程序员,我的任务是使用SPARK和Cassandra分析数据。我正在寻找一个与SPARK合作的C#API,我发现了Mobius(因为我不知道JAVA)。我开始从GitHub下载Mobius项目,并根据windows的构建我按照上面提到的步骤进行操作,但是无法使其工作。我有以下问题。

1)我在Ubuntu机器上有一个DataStax企业,我的Cassandra和SPARK可用(独立)。现在我想从我的.NET项目连接到SPARK,然后在Cassandra中处理数据。我可以这样做吗?我想在调试模式下这样做?我将只使用SPARK-SQL,因为我对SQL很满意。

2)是否必须在我的Windows机器上安装SOLR和SPARK以便Mobius工作?我能从Windows SPARK和Mobius连接到CASSANDRA(Ubuntu机器)吗?

3)当我运行命令“ sparkclr-submit.cmd debug ”以获取 CSharpBackendPortNumber 的值时,我收到错误“ load-spark-env.cmd “缺失。我在哪里可以找到这个文件,我如何获得CSharpBackendPortNumber的值?是否有必要在我的Windows机器上安装SPARK?

1 个答案:

答案 0 :(得分:0)

  1. 使用Windows客户端连接到Linux中基于YARN的Spark群集是Mobius支持/验证的方案。我从未尝试过使用基于Linux的独立Spark群集的Mobius的Windows客户端。我建议首先使用Linux机器作为Mobius客户端来验证Mobius中的基本功能。

  2. Mobius不需要Solr。您应该能够使用Mobius连接到任何操作系统中部署的Cassandra。

  3. load-spark-env.cmd是Spark版本的一部分。在运行sparkclr-submit.cmd

  4. 之前,需要设置SPARK_HOME环境变量