如何将Weka与Hadoop联系起来？

Question

我有一个数据集，我需要处理PCA（主成分分析，降维程序），使用Weka很容易。

由于数据集的大小很大，Weka会显示内存问题，如果我将Weka与Hadoop链接，可以解决这个问题。在服务器中使用weka运行算法。任何人都可以帮助我。如何将Weka与Hadoop连接以处理更大的数据集？请帮忙！

三江源..

Answer 1

Weka 3.7在Hadoop中提供了用于分布式处理的新软件包。这些包提供的作业之一将计算Hadoop中的相关（或协方差）矩阵。用户可以选择让作业使用相关矩阵作为PCA分析的输入（这部分在Hadoop之外运行）并生成“训练有素”的Weka PCA过滤器。这样可以在实例数量上对Weka的PCA分析进行扩展（但由于PCA计算仍然在客户端计算机上本地发生，因此不在原始特征的数量中）。

有关Hadoop软件包的更多信息，请参阅：

http://markahall.blogspot.co.nz/2013/10/weka-and-hadoop-part-1.html

distributedWekaHadoop包可以通过Weka 3.7中的包管理器安装。

干杯， 标记

Answer 2

根据算法的不同，重写它以使用Hadoop可能会非常复杂。

您可以改用Apache Mahout。 It does have support for PCA