Databricks笔记本电脑电池运行时

Question

是否可以使用Pyspark来获取数据块Notebook中特定单元格的运行时间？

Answer 1

您可以通过调用System.nanoTime（Scala）来执行此操作。在Scala中使用Spark时，执行代码并测量其经过时间的一种方法是使用：spark.time（

注意：您可以使用％magic命令在笔记本中使用多种语言。

OR

Answer 2

import time
start = time.time()

time.sleep(3)
end = time.time()
diff=end - start
print(diff)

我能够通过上面的代码达到我的要求