Question

我使用matlab.compiler.mlspark.RDD类的Matlab文档中的以下代码。

 %% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% flatMap
inRDD = sc.parallelize({'A','B'});
flatRDD = inRDD.flatMap(@(x)({x,1}));
viewRes = flatRDD.collect()

%% Delete Spark Context
delete(sc)

当我执行代码时，我能够使用Matlab连接到Spark，并且Matlab工作人员也会启动。一旦Matlab工作者启动，我得到以下异常并且工作人员关闭。

日志：

17/03/15 21:20:02 INFO MatlabWorkerFactory：Matlab工厂工厂创造简单的工人 17/03/15 21:20:02 INFO MatlabWorkerFactory：启动MATLAB 17/03/15 21:20:02 INFO MatlabWorkerFactory：Matlab工作流程开始了 17/03/15 21:21:02错误执行者：阶段0.0（TID 0）中任务0.0的异常 org.apache.spark.SparkException：Matlab worker没有及时连接

对我来说看起来像配置问题。话虽如此，我对Spark和Matlab都很陌生，因此会对它有所帮助。

SparkException：Matlab工作者没有及时连接回来

0 个答案: