Spark UI的输出列,从不显示任何内容

时间:2015-09-20 12:28:45

标签: apache-spark apache-spark-sql apache-spark-1.5

我尝试对BigDataBenchmark的查询进行基准测试。在这样做的同时,我从Spark的Web UI中收集信息。

我一直在保存结果,但是,使用CREATE TABLE results as ...构造隐式地保存了结果。我可以验证查询结果数据是否正确保存到HDFS中的永久磁盘。但是,我无法看到作业/阶段的输出指标(请参见图像中的列)的任何值,以下为查询提供的示例:CREATE TABLE results as SELECT * FROM rankings where pageRank > 1000 enter image description

后续调查是为了查看Spark是否无法计算输出,因为这是一个Hive查询。所以为了调查,我还原到本地磁盘输入并保存到本地磁盘。我发布了以下内容:

sqlContext.sql("SELECT * FROM rankings where pageRank > 1000" ).write.save("file:///somewhere/on/disk")

输出指标仍为空。

我是否误解了Spark的输出意味着什么?

0 个答案:

没有答案