t-SNE的并行版本

时间:2016-11-04 19:16:35

标签: python parallel-processing multiprocessing word2vec dimensionality-reduction

是否有任何带有t-SNE算法并行版本的Python库? 或者存在多核/并行t-SNE算法?

我尝试使用t-SNE减少词汇表中所有word2vecs的维度(300d - > 2d)。

问题:词汇量大约为130000,为他们进行t-SNE需要很长时间。

1 个答案:

答案 0 :(得分:8)

是的,有一个并行版本的t-SNE的barnes-hutt实现。 https://github.com/DmitryUlyanov/Multicore-TSNE

现在还有一种新的tSNE实现,它使用快速傅里叶变换功能来显着加快卷积步骤。它还使用ANNOY库来执行最近邻搜索,默认的基于树的方法也在那里,并且都利用了并行处理。

原始代码可在此处获得: https://github.com/KlugerLab/FIt-SNE

和R包版本: https://github.com/JulianSpagnuolo/FIt-SNE