舞台未在Spark UI中显示

时间:2015-10-09 03:54:54

标签: apache-spark

我在Spark编写了一个程序,其中包含以下详细信息:

Line Number    Job                              Showing in Spark UI(yes/No)
----------------------------------------------------
56             lines.count()                     yes
82             blockMap.count()                  yes
67             blockMap=lines.mapToPair          yes
85             block=blockMap.groupByKey         no
87             block.count()                     yes
122            map2.count()                      yes
90             map2=block.flatMapToPair          yes
192            reduce1.count()                   No
128            reduce1=map2.groupByKey.mapToPair No
226            result.count()                    yes
199            result=reduce1.map                No 

为什么所有作业都没有在Spark UI中显示?另外,为什么count()在实际的RDD操作之前运行?

提前致谢。

0 个答案:

没有答案