从Web应用程序连接Spark代码

Question

有人可以告诉我如何从Web应用程序连接到Spark应用程序。我们所拥有的Spark代码就是Scala，我们想要从Web应用程序访问代码。如果我们可以提供一个有用的小代码片段。

Answer 1

如评论部分所述，请尝试以下方法，

spark-jobserver

spark-jobserver提供RESTful接口，用于提交和管理Apache Spark作业，jar和作业上下文。

Approach mentioned by Jamal in spark-user-list

1）在tomcat的类路径中，添加火花发布代码jar，以便在运行时可用

2）在Web应用程序项目中，在类路径中添加spark distribution jar（可能是Java / Web项目）。

3）设置FAIR调度模式，这将有助于将来自Web应用程序的并行请求发送到spark集群。

4）在应用程序启动时，初始化与spark集群的连接。这包括创建JavaSparkContext并使其在整个Web应用程序中可用，以防这需要是Web应用程序所需的唯一驱动程序。

5）使用JavaSpark上下文，创建RDD并使它们全局可用于Web应用程序代码。

6）根据需要调用转换/操作。