Question

我终于设法让火花在本地运行并使用：

启动它（？）

spark-shell

我认为这就像启动可以通过API使用的服务器程序 - 不确定这是否正确？或者火花大师还在运行吗？结果就是打印出来了：

Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.

我可以访问web ui但是如何参数化我的C＃驱动程序中的sparkcontext以针对本地spark运行。最终目标是在C＃中运行此Scala代码：

scala> val file = sc.textFile("C:\\war_and_peace.txt")
scala> val warsCount = file.filter(line => line.contains("war"))
scala> val peaceCount = file.filter(line => line.contains("peace"))
scala> warsCount.count()
res0: Long = 1218
scala> peaceCount.count()
res1: Long = 128

然后将字数重新写入控制台，例如。任何指针都将非常感激。谢谢！

PS：

看来我必须创建代码的可执行文件，然后使用：sparkclr-submit.cmd或sparkclr-submit.sh来执行它。它是否正确？如果是这样意味着我无法在Visual Studio中运行/调试代码？！

Answer 1

Spark-shell.cmd不会启动本地Spark群集。 shell用于以本地模式连接到现有Spark群集（YARN，Standalone或Mesos）或Spark。有关提供适当的＆＃39; master＆＃39;的信息，请参阅Spark文档。运行spark-submit.cmd时的配置（http://spark.apache.org/docs/latest/submitting-applications.html#master-url）。您需要为Mobius中的sparkclr-submit.cmd提供相同的参数集。您需要提供的唯一附加参数是exe名称。要了解如何在Mobius中实现字数应用，请参阅https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#wordcount-example-batch

中的示例

如果要在VS中进行调试，请按照https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#debug-mode

中的调试模式说明进行操作

开始使用莫比乌斯对抗当地的火花

1 个答案: