是否可以将经过培训的Spark ML模型或交叉验证器保存到postgree数据库？

Question

是否可以将经过培训的Spark ML模型或交叉验证器保存到postgree数据库？我可以找到将其保存到磁盘或HDFS的方法，但是我们可以将它保存在RDBMS（例如Postgree）表中吗？

Answer 1

一般情况下不是。 ML模型使用特定结构和Parquet文件存储模型，元数据和可选数据。可以创建可以在关系数据库中存储相同数据的包装器，但此时Spark中没有这样的功能。

对于某些模型子集，您可以：

• 使用Java序列化序列化模型。
• 将保存的模型存储为大对象。

仅限于非分布式模型。