如何使用apache mahout实现LDA?

时间:2014-01-23 16:47:42

标签: hadoop bigdata mahout lucene lda

有一个像CSV格式的数据集。

FileName,Topic,Tag,Frequency
File-1,Topic -1,Tag-1,10
File-2,Topic -2,Tag-2,10
File-3,Topic -3,Tag-2,10
File-4,Topic -4,Tag-4,10
File-5,Topic -1,Tag-5,10
File-6,Topic -3,Tag-1,10
File-7,Topic -1,Tag-1,10 

我需要使用mahout LDA(Latent Dirichlet分配)算法找到标签之间的相关性。任何人都可以帮我找到如何使用Apache Mahout做到这一点。

我也很困惑mahout想要的输入格式是什么?

如果有人请为mahout初学者分享一些好东西,将会很有帮助

2 个答案:

答案 0 :(得分:1)

我可能会迟到回答。但是,Mahout不再支持LDA高于0.6的版本。必须使用Cvb而不是lda来完成运行主题模型的任务。

以下链接可以帮助您:

https://mahout.apache.org/users/clustering/lda-commandline.html https://mahout.apache.org/users/clustering/latent-dirichlet-allocation.html

答案 1 :(得分:0)

可能我回复得太迟了。但是值得付出努力,请查看blog。希望你有一些想法继续下去。