我正在尝试使用来自link的Spark LuceneRDD和Record Linkage概念。
我完成了链接中提到的所有步骤,但我收到了错误
错误:没有可用于String =>的隐式视图org.apache.lucene.document.Document
我尝试为火花壳添加lucene jar,但我仍然遇到同样的错误。
感谢任何帮助。
答案 0 :(得分:1)
添加Lucene罐子对你没有帮助。问题是,某些功能正在使用Scala的隐式功能。这意味着,它应该是一些将String转换为Lucene文档的映射函数。
当我查看github时,我发现了一个隐含的东西将进行转换 - https://github.com/zouzias/spark-lucenerdd/blob/master/src/main/scala/org/zouzias/spark/lucenerdd/package.scala
因此,您只需要在代码中添加导入,如下所示:
import org.zouzias.spark.lucenerdd._
或者甚至更确切地说,如果你只需要一次对话(可能不是你的情况)
import org.zouzias.spark.lucenerdd.stringToDocument