使用分布式计算减少Map减少尺寸？

Question

您是否知道可以使用Map-Reduce或其他api来降低大数据维度的应用程序或算法：

• 你知道一些算法吗？ Singular Value decomposition比。{ 可以有助于减少维数 数据集

• 如何使用分布式计算 解决这个???

Answer 1

请查看Mahout，因为SVD已在那里实施。

Answer 2

除了Mahout，你应该看看SLEPc（这是一个基于PETSc的工具包）来解决非常大的稀疏矩阵的特征值问题。它使用MPI，因此它将运行在许多不同的并行和分布式体系结构上。还有Gensim，用Python编写。它可能不像Mahout或SLEPc那样可扩展，但它更容易使用。