Question

考虑一个Mongo数据库，其中每个条目都具有以下数据结构。

{
    "_id" : ObjectId("numbersandletters"),
    "hello" : 0,
    "this" : "AUTO",
    "is" : "34.324.25.53",
    "an" : "7046934",
    "example" : 0,
    "data" : {
        "google" : "SEARCH",
        "wikipedia" : "Placeholder",
        "twitch" : "2016",
        "twitter" : "More_placeholder",
        "facebook" : "Run out of ideas",
        "stackoverflow" : "is great",
    },
    "schema" : "",
    "that" : "",
    "illustrates" : 0,
    "the_point" : "/somethinghere.html",
    "timestamp" : ISODate("2016-03-05T04:53:20.000Z")
}

以上数据结构是单个数据观察的示例。数据库中有大约1200万个观测值。该领域＆＃34;这＆＃34;在数据结构中可以采用＆＃34; AUTO＆＃34;或＆＃34;手动＆＃34;。

我目前正在使用rmongodb库将一些数据从Mongo导入R，然后将结果列表转换为数据框。

R代码如下：

library(rmongodb)

m <- mongo.create(host = "localhost", db = "example")

rawData <- mongo.find.all(m, "example.request", query = list(this = "AUTO"), 
                           fields = list(hello = 1L, is = 1L, an = 1L, data.facebook = 1L, the_point = 1L))

rawData <- data.frame(matrix(unlist(rawData), nrow = length(rawData), byrow = TRUE))

上述代码适用于相对较小的数据集（例如，＆lt; 100万观测值），但对于1200万则缓慢。

是否有更智能（从而更快）的方式从Mongo导入数据，然后将结果数据投影到R数据框中？

干杯。

Answer 1

查看mongolite包。你应该获得一些速度提升几万个结果。

library(mongolite)
mongo <- mongo(collection = "request", db = "example", url = "mongodb://localhost") 

df <- mongo$find(query = '{ "this" : "AUTO" }', fields = '{ "_id" : 0, "hello" : 1, "is" : 1, "an" : 1, "data.facebook" : 1, "the_point" : 1 }')

但是，随着结果集的增长，转换为data.frame的过程会变慢。

出于这个原因，我一直在尝试通过删除递归调用以尝试在查询中展平JSON结构来加速mongolite，并依赖data.table到rbindlist光标（以避免将mongolite::simplify函数转换为data.frame的函数。这将返回data.table对象

此mongolitedt package 仍处于开发状态，您发送的任何查询都必须能够通过rbindlist强制转换为data.table。在pacakge主页上，我添加了一些基准测试，以显示其提供的加速。

## install the package with
library(devtools)
install_github("SymbolixAU/mongolitedt")

library(mongolitedt)
## requires data.table and mongolite

# rm(mongo); gc()
mongo <- mongo(collection = "request", db = "example", url = "mongodb://localhost") 
bind_mongolitedt(mongo)   ## bind dt functions to mongolite connection object


dt <- mongo$finddt(query = '{ "this" : "AUTO" }', fields = '{ "_id" : 0, "hello" : 1, "is" : 1, "an" : 1, "data.facebook" : 1, "the_point" : 1 }')

R：使用rmongodb加速数据导入

1 个答案: