在AWS EMR上运行时,火花作业挂在收集上

时间:2019-09-23 10:54:23

标签: amazon-web-services apache-spark pyspark amazon-emr

完成集群构建并添加步骤后,我在AWS EMR上运行了一个非常简单的应用程序。我发现应用程序挂在收集步骤上。有人遇到过同样的问题吗?

从pyspark导入SparkContext

if __name__ == "__main__":

    sc = SparkContext(appName='Test')

    text_file = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8])
    counts = text_file.map(lambda word: word+1)
    print(counts.collect())
    sc.stop()

EMR显示:

enter image description here

为什么要一直等到收集步骤?

0 个答案:

没有答案