Question

无法建立连接，因为目标计算机主动拒绝了它127.0.0.1：某些端口号

这是我刚刚在Programe.cs中的控制台应用程序中编写的代码

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.Spark.CSharp.Core;

namespace DemoSpark
{
class Program
{
    static void Main(string[] args)
    {
        var Sparkcontext = new SparkContext(new SparkConf().SetAppName("Demo"));
        Sparkcontext.Stop();
        Console.WriteLine("Done");
    }
}
}

屏幕截图中有例外 1]：https://i.stack.imgur.com/FWKQo.png

Answer 1

您不能直接运行可执行文件Programe.cs。相反，它应该提交给你的火花集群。首先，您必须将环境设置为指向Mobius源或发布目录：

set SPARKCLR_EXT_JARS=C:\Code\Mobius\build\localmode\..\runtime\dependencies\spark-csv_2.10-1.4.0.jar,C:\Code\Mobius\build\localmode\..\runtime\dependencies\commons-csv-1.4.jar
set SPARKCLR_HOME=C:\Code\Mobius\build\localmode\..\runtime
set SPARK_HOME=C:\Code\Mobius\build\localmode\..\tools\spark-2.0.2-bin-hadoop2.6
set "JAVA_HOME=C:\Program Files\Java\jdk1.8.0_66"
set HADOOP_HOME=C:\Code\Mobius\build\localmode\..\tools\winutils

接下来，您需要将可执行文件提交给spark。以下是以本地模式运行示例的示例：

C:\Code\Mobius\build\runtime\scripts\sparkclr-submit.cmd --jars %SPARKCLR_EXT_JARS% --conf spark.sql.warehouse.dir=C:\Tests --exe SparkCLRSamples.exe C:\Code\Mobius\build\runtime\samples --temp C:\Temp --data C:\Data\Mobius

请记住，--exe选项后面的任何内容都被spark worker用来调用可执行文件，包括命令行参数。

有关其他群集选项，请参阅documentation。

SparkClr：Sparkcontext给出了一个错误

1 个答案: