Anaconda(4.2)Python 2.7.14:确保已注册工作人员并拥有足够的资源

时间:2018-10-29 20:36:47

标签: python python-2.7 pyspark

任何人都可以帮助修复以下代码吗?

import pyspark
from pyspark import SparkContext, SparkConf
conf = SparkConf()
conf.setMaster('yarn-cluster')
conf.setAppName('test')
sc = SparkContext.getOrCreate()
r = sc.textFile("data.csv")
r.collect()

由于以下异常而出错:

  

WARN cluster.YarnScheduler:初始作业未接受任何作业   资源;检查您的集群用户界面,以确保工作人员已注册   并有足够的资源

我希望收集结果会打印出来。

谢谢。

1 个答案:

答案 0 :(得分:0)

据我了解,这是一个未解决的问题,您可以在此处找到更多信息:

https://community.hortonworks.com/questions/37247/initial-job-has-not-accepted-any-resources.html

在这里:

https://github.com/databricks/spark-knowledgebase/issues/9