spark应用程序如何监听端口？

Question

我可以运行程序，侦听群集中的端口吗？ 我想编写一个接受http请求的应用程序，并使用spark

执行一些计算

Answer 1

是的，您可以在驱动程序节点上运行所需的任何代码。例如，您可以使用spray.io http服务器并连接到spark actor系统：

import org.apache.spark.SparkEnv
implicit val system = SparkEnv.get.actorSystem

但是没有办法在工人身上执行任意代码。工作人员只在RDD的map-reduce函数中运行代码块。

Answer 2

很难理解你的英语，但是，如果我理解你的话，你正在寻找像Spark-JobServer

这样的东西。