将列表拆分为较小的部分以进行转换(希望解决内存限制)

时间:2017-08-19 01:08:45

标签: r

有几个帖子将数据框分成多个部分,例如herehere

我有一组文本数据,据我所知,语料库是一个列表。我努力在我的语料库上进行转换,所以想尝试将它分成片段来循环转换,而不是一次整个语料库。

> length(corpus)
[1] 1000 # sample small 1k corpus

> typeof(corpus)
[1] "list"

pieces <- split(corpus, 10)

我的目标是获取每个长度为100的列表列表,但在使用split()运行上述行后,长度为1,并且似乎只保留了原始数据语料库中的第一个文档。

如何使用例如链接的SO帖子将我的语料库分成10个部分。分裂还是其他方法?

1 个答案:

答案 0 :(得分:1)

看起来split()的第二个参数应该是一个向量。你试过pieces <- split(corpus, 1:10)吗?