将IntelliJ idea的Scala工作表用作Apache Spark的Scala REPL

Question

是否可以将IntelliJ中的Scala工作表用作Jupyter笔记本的替代产品。 我遵循了提到的here解决方案，但是它在本地而不是在远程集群上运行代码。我的主要挑战是IntelliJ IDE在笔记本电脑中本地运行，而Spark集群在云中。如何要求IntelliJ使用远程SBT？

Answer 1

如果您只是想以更具交互性/即席方式尝试教程来学习Spark编程和概念，那么您在帖子中提到的链接就是您将如何做。在这种模式下，您基本上是在模拟一个单节点的Spark集群（即您的本地计算机），该集群既充当驱动程序节点，又充当执行者节点（全部合为一体）。

但是，在实际情况中，这不是您实际在ACTUAL Spark集群上提交和运行Spark应用程序的方式。如果您要这样做，则需要使用Spark提供的两种部署模式之一：客户端模式和群集模式。您将使用“ spark-submit”命令行实用程序将已编译的Spark库（胖JAR）提交为Spark作业。更多详细信息here。