如何将mllib.recommendation.MatrixFactorizationModel保存到HDFS中？

Question

我想在HDFS中保存我的训练模型，我试过：

model.saveAsTextFile("hdfs://sandbox.hortonworks.com:8020/tmp/Project/Model")

和

model.saveAsTextFile("hdfs:///sandbox.hortonworks.com:8020/tmp/Project/Model")

但显而易见的错误如下：

value saveAsTextFile is not a member of org.apache.spark.mllib.recommendation.MatrixFactorizationModel

我可以使用saveAsnewAPIHadoopFile("hdfs://....")吗？

您能告诉我们如何将模型保存到HDFS中。

Answer 1

在the scaladoc of MatrixFactorizationModel我只能找到方法：

save(sc: SparkContext, path: String): Unit

改为使用save。

  

save（sc：SparkContext，path：String）：单位

     

将此模型保存到给定路径。

     

这可以节省：

     

  
• 人类可读（JSON）模型元数据到路径/元数据/
  
• Parquet格式化数据到路径/ data /
  

您似乎使用过ALS。如果是，请考虑使用org.apache.spark.ml.recommendation包（不是org.apache.spark.mllib.recommendation）。