Idimoatic运行spark笔记本原型代码的方法

Question

使用Spark笔记本创建Scala代码之后，我将相关单元格复制到我从Apache Spark CLI调用的脚本文件中。有没有更惯用的方法来执行此操作以帮助重用代码？

因此，不是从spark笔记本创建脚本文件而是通过api调用来运行笔记本本身吗？

Answer 1

是的， 可以通过Jupyter（IPython）scala笔记本直接在spark集群上运行你的scala代码！

我已经完成了它涉及：

Cloudera Livy

Jupyter笔记本

Spark Magic（“sparkmagic.magics”）

Spark Cluster

如果你对更多的即插即用风格感兴趣，另一个选择是使用Apache Zeppelin而不是Jupyter Notebook，因为Zeppelin原生而且与Spark无缝集成。每种方法都有其优点......

编辑： 关于API调用问题，您还可以使用Livy（livy.io）API和客户端来创建/更新/与/ etc livy会话进行交互。