如何计算databricks笔记本中命令单元的执行时间

Question

我需要知道在每个笔记本中执行命令单元列表所花费的时间。 Databricks显示＆＃34;命令花了x秒秒＆＃34;执行 。与显示的执行时间类似，我需要捕获执行笔记本中所有命令所花费的时间。

Answer 1

我一直在使用以下内容：

val startTime = System.nanoTime
// your code goes here
val endTime = System.nanoTime

val elapsedSeconds = (endTime - startTime) / 1e9d

由于您提到您是新手，请不要忘记Spark使用延迟执行，因此执行包含转换的单元格的时间不是真正的执行时间。请务必包含一个衡量真实执行时间的操作。