完成集群构建并添加步骤后,我在AWS EMR上运行了一个非常简单的应用程序。我发现应用程序挂在收集步骤上。有人遇到过同样的问题吗?
从pyspark导入SparkContext
if __name__ == "__main__":
sc = SparkContext(appName='Test')
text_file = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8])
counts = text_file.map(lambda word: word+1)
print(counts.collect())
sc.stop()
EMR显示:
为什么要一直等到收集步骤?