评估Bluemix spark的性能

Question

我运行查询并想要评估性能（执行ime） 我尝试了什么：

t0 = time.time()
df =sqlContext.sql(query)
df.count()
t1 = time.time()

我可以确定查询已完成且t1-t0是查询运行时间吗？

Answer 1

在IBM Analytics for Apache Spark上，在笔记本中转到＆＃34; Palette＆＃34;并选择＆＃34;环境＆＃34;。在那里，您可以看到Spark History Server的链接，您可以在其中调查您的火花作业。

对于每个Spark作业，都会列出计算时间。