Spark应用程序如何工作？

Question

我正在尝试实现一个简单的Spark SQL应用程序，它将查询作为输入并处理数据。但是因为我需要缓存数据而且我必须维护一个SQL Context对象。我无法理解如何使用相同的SQL上下文并继续从用户那里获取查询。

那么应用程序如何工作？当应用程序提交到群集时，它是否继续在群集上运行或执行特定任务并在任务后立即关闭？

Answer 1

Spark应用程序有一个启动和配置Spark Context的驱动程序。驱动程序可以在您的应用程序内部，您可以在应用程序的整个生命周期中使用相同的Spark Context。

Spark Context是线程安全的，因此多个用户可以使用它同时运行作业。

有一个开源项目Zeppelin可以做到这一点。