如何将SparkML模型作为实时Web服务进行操作?

时间:2017-08-16 09:38:47

标签: apache-spark pyspark apache-spark-ml

一旦在Spark集群上培训了SparkML模型,我如何才能使用经过培训的模型并通过一个安静的API对其进行评分?

问题是它需要一个SparkContext才能被加载,但有没有办法“伪造它”,因为它似乎没有必要,或创建SparkContext所需的最低要求是什么?

1 个答案:

答案 0 :(得分:0)

在某些情况下 - 是的,它可以。

Spark中的许多模型可以导出为JPMML,ML模型的标准格式。然后,您可以将其与其他Java库(如https://github.com/jpmml/jpmml-sparkml

)一起使用

如何导出您可以阅读此问题 - Spark ml and PMML export

您也可以使用Spark Streaming计算值,但在连续处理模式可用之前它会有更高的延迟

对于非常耗时的计算,例如推荐算法,我认为预先计算值并保存在数据库中非常正常,如Cassandra