R:如何使用并行处理格式执行lsa()

时间:2016-05-02 21:47:01

标签: r parallel-processing text-analysis lsa

我正在尝试对推文进行一些文本分析,并尝试将LSA()用于DR。 但是,似乎计算lsa空间是非常耗费内存的。我只能处理多达2.3k的推文,否则我的计算机将会死亡。

当我通过在线资源进行并行处理研究时,我了解到,即使我的计算机是4核心,我也只会使用其中的1个,因为这是R中的默认设置。 我还阅读了this post here非常有帮助,但似乎只能进行并行处理:

  1. 可以在apply()系列中使用的函数
  2. 替换for循环
  3. 我正在尝试对lsa()使用并行处理。 这是我的一行代码:

    lsa.train = lsa(tdm.train, dimcalc_share())
    

    其中 tdm.train 是TermDocumentMatrix,其中术语为行,文档为列。

    我的问题是:

    如何更改lsa()的这一行代码,以便它以并行格式而不是顺序格式处理?这样它将只使用n个核心而不是1个核心,其中n是用户(me)定义的核心数。

0 个答案:

没有答案