我尝试对BigDataBenchmark的查询进行基准测试。在这样做的同时,我从Spark的Web UI中收集信息。
我一直在保存结果,但是,使用CREATE TABLE results as ...
构造隐式地保存了结果。我可以验证查询结果数据是否正确保存到HDFS中的永久磁盘。但是,我无法看到作业/阶段的输出指标(请参见图像中的列)的任何值,以下为查询提供的示例:CREATE TABLE results as SELECT * FROM rankings where pageRank > 1000
后续调查是为了查看Spark是否无法计算输出,因为这是一个Hive查询。所以为了调查,我还原到本地磁盘输入并保存到本地磁盘。我发布了以下内容:
sqlContext.sql("SELECT * FROM rankings where pageRank > 1000" ).write.save("file:///somewhere/on/disk")
输出指标仍为空。
我是否误解了Spark的输出意味着什么?