Question

使用独立的Spark Java来执行下面的代码片段，我得到状态总是等待，并出现以下错误。当我尝试添加Print语句时，它不起作用。是否有任何我可能错过的配置来运行多个工作？

15/09/18 15:02:56 INFO DAGScheduler：从第0阶段提交2个缺失的任务（MapPartitionsRDD [2]在SparkTest.java：143的过滤器处）

15/09/18 15:02:56 INFO TaskSchedulerImpl：添加任务集0.0和2   任务

15/09/18 15:03:11 WARN TaskSchedulerImpl：初始工作尚未接受   任何资源;检查您的群集UI以确保工作人员   已注册且资源充足

15/09/18 15:03:26 WARN TaskSchedulerImpl：初始工作尚未接受   任何资源;检查您的群集UI以确保工作人员   已注册且资源充足

15/09/18 15:03:41 WARN TaskSchedulerImpl：初始工作尚未接受   任何资源;检查您的群集UI以确保工作人员   已注册且资源充足

JavaRDD<String> words = input.flatMap(new FlatMapFunction<String, String>()    //Ln:143
        {
            public Iterable<String> call(String x)
            {
                return Arrays.asList(x.split(" "));
            }
        });
// Count all the words
System.out.println("Total words is" + words.count())

Answer 1

此错误消息表示您的应用程序正在请求群集中当前提供的更多资源，即群集中可用的内核或更多RAM。

其中一个原因可能是您已经运行了一个占用所有可用内核的作业。

如果发生这种情况，您的工作很可能正在等待另一项工作完成并释放资源。

您可以在Spark UI中查看。

无法执行不仅仅是火花工作＆＃34;初始工作没有接受任何资源＆＃34;

1 个答案: