阅读非常大的NDJSON

时间:2018-06-25 21:39:16

标签: r json ndjson

我有一个33GB的NDJSON文件,我需要将其读入R中的data.table中。将它压缩成2GB的文件,理想情况下,我想将其压缩。

结构并不重要,除了(当通过jsonlite::stream_in导入时)时,我需要的数据仅在几个简单的列中。绝大多数数据权重保存在我想尽快丢弃的三列中的list中。

我的两个挑战是:如何并行化读入内容,以及如何限制内存使用量(现在我在该文件上的工作人员正在使用175GB内存)?

我现在正在做什么:

dt.x <- data.table(flatten(stream_in(gzfile("source.gz"))[, -c(5:7)]))

想法:

也许在stream_in期间有某种方法可以忽略NDJSON的一部分?

在转到gzfile之前,我是否可以解析stream_in连接,例如使用正则表达式,以删除多余的数据?

我可以在readLines连接上执行类似gzfile的操作来读取每个工人100万行的数据吗?

编辑:如果可能的话,我的目标是使它可移植到其他用户并将其完全保留在R中。

1 个答案:

答案 0 :(得分:2)

将jqr与阅读器配合使用

这是一个说明如何使用jqr读取压缩的NDJSON(又名JSONL)文件的记录:

$ R --vanilla
> library(readr)
> library(jqr)
> read_lines("objects.json.gz") %>% jq('.a')
[
    1,
    2,
    3
]
> 

使用read_file()会得到相同的结果。由于这些功能必须解压缩整个文件,因此内存需求将很大。

分别读取每个JSON实体

由于文件是NDJSON,因此可以通过一次读取一个JSON实体来大大减少所需的RAM数量:

con = file("objects.json", "r");
while ( length(line <- readLines(con, n = 1)) > 0) {
   print( line %>% jq('.a') );
}

jq

使用jqr可能有更好的方法,但是如果目标是同时兼顾空间和时间效率,那么最好使用命令行版本的jq。

计数

如果您需要事先计算(未压缩的)文件中的行数,然后要节省内存,我可能会使用system2wc;其他所有失败的方法,您可以运行如下代码段:

n<-0;
con = file("objects.json", "r");
while (TRUE) {
   readLines(con, n = 1);
   if (length(line) == 0) { break; }
    n <- n+1;
}