如何从磁盘加载spark-nlp预训练模型

Question

我从spark-nlp GitGub page下载了一个包含预先训练的NerCRFModel的.zip文件。 zip包含三个文件夹：嵌入，字段和元数据。

如何将其加载到Scala NerCrfModel中以便可以使用？我是否必须将其放入HDFS或启动Spark Shell的主机中？如何引用？

Answer 1

您只需要提供包含提到的文件夹的路径，

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

只要记得，您可以将该文件夹放置在本地FS或分布式FS中，希望对其他用户也有所帮助！。

最好， 阿尔贝托。