Livy长时间运行的上下文和共享缓存

时间:2019-11-24 11:15:06

标签: apache-spark livy

互联网上说Livy具有以下功能:

  1. 可被多个客户端用于多个Spark作业的长期运行Spark上下文
  2. 跨多个作业和客户端共享缓存的RDD或数据集

问题:

  1. 我正确地假设这两个功能实际上是相同的吗?意味着共享缓存是通过针对相同的长期运行的Spark上下文对不同的作业进行加总来实现的,对吗?否则,如何实现?
  2. Livy长期运行的Spark Context有哪些用例?它们是否仅用于交互式查询,以减少在每个查询(例如DS团队)上创建上下文的等待时间/开销?

0 个答案:

没有答案