如何将独立的Scala应用程序转换为可运行的SOA？

Question

我正在开发一个scala-spark应用程序，我希望将其迁移到可运行的服务模型。

可以调用应用程序，但我想将应用程序作为可以从Unix / Linux命令停止和停止的服务运行。

此外，在Web服务器上部署应用程序并构建Rest API。

在Linux / Unix中编写包装器是否有意义将其作为分离的守护程序进程运行？

有人可以指导我什么是正确的工具，如果有什么可以帮助我快速发展？

谢谢， AZ

Answer 1

1. 要停止并启动，您可以使用thrift服务器并直接输入SQL命令。您可以运行一个打开侦听端口的spark作业，这就是Zeppelin所做的。

2. 要部署应用程序，它取决于您喜欢的语言，但您可以使用带有Python的刻录或使用Scala播放。

此外，您可能希望查看Zeppelin，您可以在笔记本上编写作业，然后使用Zeppelin API来管理http请求。实际上，如果你走这条路，我有兴趣看看你的网络服务客户端，因为我正在做同样的事情 https://zeppelin.apache.org/docs/0.7.0/rest-api/rest-notebook.html

Answer 2

你可以：

• 将REST API或您想要的任何服务嵌入到驱动程序中
• 使用livy项目，你可以在paypal演示中看到[“spark compute as a Service”] [1] https://spark-summit.org/2017/events/spark-compute-as-a-service-at-paypal/

至于开始停止重启等等，你需要跟踪要杀死的applicationid（假设你正在使用纱线）