Question

我的目录中有数千个非常小的json文件。

现在，我正在使用以下代码加载它们：

library(dplyr)
library(jsonlite)
library(purrr)

filelistjson <- list.files(DATA_DIRECTORY, full.names = TRUE, recursive = TRUE)
filelistjson %>% map(., ~fromJSON(file(.x)))

不幸的是，这非常慢（我也尝试过furrr::future_map），我想知道这里是否有更好的方法。单个文件的大小几乎25KB ...

文件看起来如下所示，带有几个嵌套变量，但没有什么太复杂的

  {
 "field1": "hello world",
  "funny": "yes",
  "date": "abc1234",
  "field3": "hakuna matata",
  "nestedvar":[
    "http://www.stackoverflow.com",
    "http://www.stackoverflow.com/funny"
  ],
  "othernested":[
   { 
     "one": "two",
     "test": "hello"
   }
   ] 
  }

谢谢！

Answer 1

R中有几个JSON库。这是其中三个库的基准：

txt <- '{
 "field1": "hello world",
"funny": "yes",
"date": "abc1234",
"field3": "hakuna matata",
"nestedvar": [
"http://www.stackoverflow.com",
"http://www.stackoverflow.com/funny"
],
"othernested": [
{ 
"one" : "two",
"test" : "hello"
}
] 
}'

microbenchmark::microbenchmark(
  jsonlite={
    jsonlite::fromJSON(txt)
  },
  RJSONIO={
    RJSONIO::fromJSON(txt)
  },
  rjson={
    rjson::fromJSON(txt)
  }
)

# Unit: microseconds
#     expr     min       lq      mean  median      uq     max neval cld
# jsonlite 144.047 153.3455 173.92028 167.021 172.491 456.935   100   c
#  RJSONIO 113.049 120.3420 134.94045 128.365 132.742 287.727   100  b 
#    rjson  10.211  12.4000  17.10741  17.140  18.234  59.807   100 a

如您所见，rjson似乎更有效（尽管谨慎对待以上结果）。就我个人而言，我喜欢使用RJSONIO，因为根据我的经验，该库在再次读取，修改和解析时最尊重格式。

最后，如果您知道文件的（不变）结构，则可以始终构建自定义JSON阅读器，并且可能会更高效。但正如@Gregor所指出的那样，也许您应该确保延迟确实是由读者引起的。

如何快速解析许多小的JSON文件？

1 个答案: