架构：如何将Spark ML预测用作HTTP服务

Question

我有一个Spark流应用程序，用于训练模型并定期将模型存储到HFS。在基于http的Web服务中，我想发布一些值并检索它的预测。该服务还应按需重新加载模型（例如，通过GET请求）。

我使用Spark和Spray实现了一个Web服务器，它适用于概念验证。但我不确定它是否是一个好的设计解决方案。如果Web服务器在群集上运行，那么将其提供给外部服务呢？如何定义服务将在哪个节点上可用？我甚至不确定以这种方式使用预测模型是否正确。也许最好的做法是将Spark集成到一个独立的应用程序中并访问共享文件系统上的模型（例如hfs），但这将缺乏集群支持，不是吗？

摘要：使用Apache Spark构建预测Web服务的最佳实践设计是什么？