我正在处理一个文本数据流,我提前知道它的值的分布是什么,但我知道每个人看起来像这样:
{
"datetime": "1986-11-03T08:30:00-07:00",
"word": "wordA",
"value": "someValue"
}
我试图根据它的值将其存储到RethinkDB对象中,其中对象如下所示:
{
"bucketId": "1",
"bucketValues": {
"wordA": [
{"datetime": "1986-11-03T08:30:00-07:00"},
{"datetime": "1986-11-03T08:30:00-07:00"}
],
"wordB": [
{"datetime": "1986-11-03T08:30:00-07:00"},
{"datetime": "1986-11-03T08:30:00-07:00"}
]
}
}
目的是最终计算每个桶中每个单词的出现次数。
由于我处理了大约一百万个桶,并且不提前知道这些词,因此计划是动态创建这些对象。然而,我是RethinkDB的新手,我尽力做到这一点,我不会尝试将word
密钥添加到尚未存在的存储桶中,但我不完全确定我是否遵循以下最佳实践链接命令如下(注意我在Node.js服务器上使用以下命令运行:
var bucketId = "someId";
var word = "someWordValue"
r.do(r.table("buckets").get(bucketId), function(result) {
return r.branch(
// If the bucket doesn't exist
result.eq(null),
// Create it
r.table("buckets").insert({
"id": bucketId,
"bucketValues" : {}
}),
// Else do nothing
"Bucket already exists"
);
})
.run()
.then(function(result) {
console.log(result);
r.table("buckets").get(bucketId)
.do(function(bucket) {
return r.branch(
// if the word already exists
bucket("bucketValues").keys().contains(word),
// Just append to it (code not implemented yet)
"Word already exists",
// Else create the word and append it
r.table("buckets").get(bucketId).update(
{"bucketValues": r.object(word, [/*Put the timestamp here*/])}
)
);
})
.run()
.then(function(result) {
console.log(result);
});
});
我是否需要在这里执行两次运行,或者我是否会依赖于你应该如何与RethinkDB正确地连接起来?我只是想确保在我深入研究这个问题之前,我没有采取错误/艰难的方式。
答案 0 :(得分:3)
您不必多次执行run
,具体取决于您的需求。基本上,run()
结束链并向服务器发送查询。所以我们做了构建查询的所有事情,并以run()
结束它来执行它。如果您使用run()
两次,则表示它将被发送到服务器2次。
因此,如果我们只使用RethinkDB函数进行所有处理,我们只需要调用一次运行。但是,如果我们想要使用客户端进行某种后处理数据,那么我们别无选择。通常我尝试使用RethinkDB进行所有处理:使用控制结构,循环和匿名函数,我们可以走得很远,而不会让客户端做一些逻辑。
在您的情况下,可以使用官方驱动程序使用NodeJS重写查询:
var r = require('rethinkdb')
var bucketId = "someId2";
var word = "someWordValue2";
r.connect()
.then((conn) => {
r.table("buckets").insert({
"id": bucketId,
"bucketValues" : {}
})
.do((result) => {
// We don't care about result at all
// We just want to ensure it's there
return r.table('buckets').get(bucketId)
.update(function(bucket) {
return {
'bucketValues': r.object(
word,
bucket('bucketValues')(word).default([])
.append(r.now()))
}
})
})
.run(conn)
.then((result) => { conn.close() })
})