从远程系统连接到实时火花应用程序

Question

我在群集上部署了一个spark应用程序。我想运行应用程序，其中一些变量是从远程计算机上运行的另一个应用程序传递的。例如，我将从远程运行的应用程序传递一个查询字符串，我希望我的spark应用程序监听它并处理查询并将响应返回给调用者。

是否可以使用spark提供的任何库或功能。

Answer 1

Spark应用程序就像任何其他应用程序一样。应用程序可以以百万种不同的方式接收远程命令。也许最常见的是使应用程序成为HTTP服务器。然后，它可以通过Web界面或REST API进行远程控制。

如果你通过Scala使用Spark，Play Framework是一个很受欢迎的选择。