Question

我是Spark新手并创建了一个支持机器学习的平台，我正在寻找一种保存模型的方法，并提出了模型的save方法。

其文件说明：

Save this model to the given path.
This saves: - human-readable (JSON) model metadata to path/metadata/ - Parquet formatted data to path/data/

我正在寻找一种方法，只使用一种编程语言（Java）加载用所有编程语言（Python，Java，Scala）编写的模型。

是否可以使用不同的编程语言简单地加载模型？

Answer 1

一般而言，扩展MLlib的{{1}}模型的保存方法会生成与语言无关的输出。这意味着可以使用任何支持的语言简单地加载它。例如（官方文档中的代码）：

的Python：

Saveable

Scala的：

from pyspark.mllib.clustering import KMeans, KMeansModel
import numpy as np

data = sc.textFile("data/mllib/kmeans_data.txt")
parsedData = data.map(lambda line: np.array([float(x) for x in line.split(' ')]))

clusters = KMeans.train(parsedData, 2, maxIterations=10,
    runs=10, initializationMode="random")

clusters.centers
## [array([ 9.1,  9.1,  9.1]), array([ 0.1,  0.1,  0.1])]

clusters.predict(np.array([0.2, 0.2, 0.2]))
## 1

clusters.save(sc, "clusters"

MLlib从不同的编程语言加载模型

1 个答案: