什么可能导致流星应用有时创建两个文档?

时间:2016-10-24 23:23:46

标签: mongodb meteor

我有一个流星应用程序,它接受文章的文本并将其分成段落,句子,单词和字符,然后将其存储在json中,然后我将其保存为集合中的文档。我正在测试的文件现在最终在mongodb中为15133个字节。

插入文档时,插入大约需要20或30秒。然后有时它会再次开始我的文章创建例程并插入另一个文档。有时最终会插入3个或更多文档。有时它的行为应该如此,只将1个文档插入到集合中。

我应该寻找什么可能导致这种行为?

这是我的代码,按要求:

Meteor.methods({
'createArticle': function (text, title) {
    var article = {}
    article.title = title
    article.userID = "sdfgsdfg"
    article.text = text
    article.paragraphs = []
    var paragraphs = splitArticleIntoParagraphs(text)
    console.log("paragraphs", paragraphs)
    _.each(paragraphs, function (paragraph, p) {
        if (paragraph !== "") {
            console.log("paragraph", paragraph)
            article.paragraphs[p] = {}
            article.paragraphs[p].read = false
            article.paragraphs[p].text = paragraph
            console.log("paragraphs[p]", article.paragraphs[p])
            var sentences = splitParagraphIntoSentences(paragraph)
            article.paragraphs[p].sentences = []
        }
        _.each(sentences, function (sentence, s) {
            if (sentence !== "") {
                article.paragraphs[p].sentences[s] = {}
                console.log("sentence", sentence)
                article.paragraphs[p].sentences[s].text = sentence
                article.paragraphs[p].sentences[s].read = false
                console.log("paragraphs[p].sentences[s]", article.paragraphs[p].sentences[s])
                var wordsForward = splitSentenceIntoWordsForward(sentence)
                console.log("wordsForward", JSON.stringify(wordsForward))
                article.paragraphs[p].sentences[s].forward = {}
                article.paragraphs[p].sentences[s].forward.words = wordsForward

                // var wordsReverse = splitSentenceIntoWordsReverse(sentence)
                _.each(wordsForward, function (word, w) {
                    if (word) {
                        // console.log("word", JSON.stringify(word))
                        // article.paragraphs[p].sentences[s] = {}
                        // article.paragraphs[p].sentences[s].forward = {}
                        // article.paragraphs[p].sentences[s].forward.words = []
                        article.paragraphs[p].sentences[s].forward.words[w] = {}
                        article.paragraphs[p].sentences[s].forward.words[w].wordID = word._id
                        article.paragraphs[p].sentences[s].forward.words[w].simp = word.simp
                        article.paragraphs[p].sentences[s].forward.words[w].trad = word.trad
                        console.log("word.simp", word.simp)
                        var characters = word.simp.split('')
                        console.log("characters", characters)
                        article.paragraphs[p].sentences[s].forward.words[w].characters = []
                        _.each(characters, function (character, c) {
                            if (character) {
                                console.log("character", character, p, s, w, c)
                                article.paragraphs[p].sentences[s].forward.words[w].characters[c] = {}
                                article.paragraphs[p].sentences[s].forward.words[w].characters[c].text = character
                                article.paragraphs[p].sentences[s].forward.words[w].characters[c].wordID = Words.findOne({simp: character})._id
                            }
                        })
                    }
                })
            }
        })
    })
    // console.log("article", JSON.stringify(article))
    // console.log(JSON.stringify(article.paragraphs[10].sentences[1].forward))//.words[4].characters[0])
    console.log("done")
    var id = Articles.insert(article)
    console.log("id", id)
    return id
}
})

我在这里调用方法:

Template.articleList.events({
"click #addArticle": function(event) {
    event.preventDefault();
    var title = $('#title').val();
    var text = $('#text').val();
    $('#title').value = '';
    $('#text').value = '';
    $('#text').attr('rows', '3');
    Meteor.call('createArticle', text, title);
 }
})

1 个答案:

答案 0 :(得分:2)

要记住的一件重要事情是,在执行CPU密集型任务时,流星方​​法不能很好地工作。由于您的流星服务器只能在单个线程中运行,因此任何类型的阻塞计算(如您的)都会影响所有客户端连接,例如:延迟DDP心跳。反过来,这可能导致客户认为连接已被删除。

正如@ghybs在其中一条评论中建议的那样,您的方法可能是由一个认为服务器断开的不耐烦的DDP客户端多次触发的。阻止此行为的最简单方法是向noRetry添加Meteor.apply标记,如下所述:

https://docs.meteor.com/api/methods.html#Meteor-apply

我相信Meteor.call没有此选项。

另一种策略是尝试确保您的方法是幂等的,即多次调用它们不应产生任何额外的效果。这通常是正确的 - 至少在使用方法模拟时 - 因为重试db insert将重用相同的文档id,这将在第二次尝试时失败。出于某种原因,这种情况不会发生在你的情况下。

最后,您所描述的问题清楚地表明,对于像您这样的计算成本高昂的任务,可能会使用不同的模式。如果我是你,我会先分几步完成工作:

  1. 首先,我会确保使用POST请求而不是通过DDP将文档上传到服务器。
  2. 然后我将实现一个“进程文件”服务器端方法,它抓取已经在服务器或数据库中的文件(如果您使用了文件集合)。方法应该做的第一件事就是调用this.unblock(),但不是全部。
  3. 理想情况下,计算任务应该在一个单独的过程中执行。只有当该过程完成时,该方法才会返回告知实际调用者该作业已完成。但是,由于我们呼叫this.unblock()呼叫者可以执行不同的任务,例如在等待结果时调用其他方法/订阅。
  4. 有时,分开的过程不够好。我遇到过必须将任务委托给另一个工作服务器的情况。