如何将pyspark模型保存到泡菜文件中

时间:2019-10-15 10:40:29

标签: python pyspark

如何将pyspark模型保存到泡菜文件中

  final_data=output_fixed.select('features','CreditabilityIndex')

  test=final_data.randomSplit([0.7,0.3])

  dtc=DecisionTreeClassifier(labelCol='CreditabilityIndex',featuresCol='features')

  dtc_model=dtc.fit(train)

2 个答案:

答案 0 :(得分:0)

您可以使用save()方法保存模型,其中sparkSparkContext对象:docs

dtc_model.save(spark, "/path/to/file")

答案 1 :(得分:0)

您也可以用这种方式保存模型-

lr = LogisticRegression(labelCol="label", featuresCol="features")
lr_model = lr.fit(train2)
lr_model.save("abc.model")

###This is how you can load it back - 
sameModel = LogisticRegressionModel.load("abc.model")

PS-它将保存在代码文件的位置。但是,有时您可能看不到实际文件。但是它将被保存以供您再次加载。没什么可担心的。