Livy在计算结束前返回

Question

在Hortonworks Sandbox上使用Livy，我们发现了一些问题，在某些情况下，Livy API会在实际工作结束之前为语句提供结果，如Spark监视工具所示。在某些情况下，Livy为正常执行时间超过10分钟的作业提供不到5秒的结果。如果我们在某些情况下不止一次地使用相同的初始条件重复相同的任务，我们就会发现这个问题。有什么想法吗？

Answer 1

只需检查您是否对多个作业使用相同的Livy会话。 如果使用相同的会话，则会缓存中间Spark DataSet并更快地检索结果。