Node.js和MongoDb

时间:2018-03-21 14:07:08

标签: node.js mongodb asynchronous synchronization

我需要构建一个执行这些操作的应用程序(按顺序):

on load:
    01- connect to MongoDB 'db'
    02- creates a collection 'cas'
    03- check if a web page has updates, if yes go to step 04, if not go to step 07
    04- do web scraping (using Cheerio) of the web site and get a $ variable like that $ = cheerio.load(body);
    05- elaborate this object to get only informations I'm interested in and organize them in a jsons object like this one:
            var jsons = [
                {year: 2015, country: Germany, value: 51},
                {year: 2015, country: Austria, value: 12},
                {year: 2016, country: Germany, value: 84},
                {year: 2016, country: Bulgaria, value: 104},
                ...
            ];
    06- insert each of these elements ({year: 2015, country: Germany, value: 51}, ...) in the collection 'cas' of database 'db'
    07- download the data (for example in a csv file)
    08- create a web page for data visualization of these data using D3.js
    09- disconnect from 'db'

如果Node.js是同步的,我可以这样写:

var url = 'http://...';
var jsons = [];
connectDb('db');
createCollection('db', 'cas');
if(checkForUpdates(url)) {
    var $ = scrape(url);
    jsons = elaborate($);
    for(var i = 0; i < jsons.length; i++) {
        saveDocumentOnDbIfNotExistsYet('db', 'cas', jsons[i]);
    }
}
downloadCollectionToFile('db', 'cas', './output/casData.csv');
createBarChart('./output/casData.csv');
disconnectDb('db');

但是Node.js是异步的,所以这段代码不能正常工作。 我已经读过,我可以使用Promise来让代码按特定顺序运行。

我阅读了有关Promise的文档以及一些显示简单教程的网站。 承诺的结构是:

// some code (A)

var promise = new Promise(function(resolve, reject) {
    // some code (B)
});

promise.then(function() {
    // some code (C)
});

promise.catch(function() {
    // some code (D)
});

// some code (E)

如果我理解正确,在这种情况下执行(如果Node.js是同步的)将等同于:

// some code (A)
// some code (E)
if(some code (B) not produce errors) {
    // some code (C)
}
else {
    // some code (D)
}

或(代码A和E之间的交换,因为它们是异步的)

// some code (E)
// some code (A)
if(some code (B) not produce errors) {
    // some code (C)
}
else {
    // some code (D)
}

所以现在我想知道我的应用程序的正确结构是什么。 我想过:

var cheerio = require('cheerio');
var express = require('express');
var fs = require('fs');
var MongoClient = require('mongodb').MongoClient;

var dbUrl = 'mongodb://localhost:27017/';
var dbName = 'db';
var collectionName = 'cas';
const app = express(); // run using > node app.js

// connect to db
var connect = function(url) {
    return new Promise(function(resolve, reject) {
        MongoClient.connect(url + dbName, function(err, db) {
            if(err) {
                reject(err);
            }
            else {
                console.log('Connected');
                resolve(db);
            }
        });
    });
}

// create collection
connect.then(function(db) {
    db.createCollection(collectionName, function(err, res) {
        if(err) {
            throw err;
        }
        else {
            console.log('Collection', collectionName, 'created!');
        }
    });
});

// connection error
connect.catch(function(err) {
    console.log('Error during connection...');
    throw err;
});

没错?如果是,我该如何继续其他步骤? 我可以改进我的代码吗?

编辑1

以АндрейЩербаков为例,我以这种方式修改了我的代码:

app.js

// my files
var db = require('./middlewares/db.js');

var url = 'mongodb://localhost:27017/';
var dbName = 'db';
var collectionName = 'cas';

const start = async function() {
  const connect = await db.connectToMongoDb(url, dbName);
  const cas = await connect.createYourCollection(collectionName);
  const isPageHasUpdates = oneMoreFunction(); // i don't know how you gonna check it
  if(isPageHasUpdates) {
      await step 4;
      await step 5;
      await step 6;
  }
  await step 7
  return something; // if you want
}

start()
.then(res => console.log(res)) // here you can use result of your start function if you return something or skip this then
.catch(err => console.log(err)); // do something with your error

中间件/ db.js

var MongoClient = require('mongodb').MongoClient;
let dbInstance;

var methods = {};

methods.connectToMongoDb = function(url, dbName) {
    if(dbInstance) {
        return dbInstance;
    }
    else {
        MongoClient.connect(url + dbName, function(err, db) {
            if(!err) {
                dbInstance = db;
                return db;
            }
        });
    }
}

methods.createYourCollection = function(collectionName) {
    ?.createCollection(collectionName, function(err, res) {
        if(err) {
            throw err;
        }
    });
}

module.exports = methods;

但我不确定我做得好。 如何在不同的文件中分隔功能?例如,我想将所有关于db的函数放在文件 middlewares / db.js 中。但我在?.createCollection(collectionName, function(err, res)行中遇到了一些问题。

1 个答案:

答案 0 :(得分:1)

如果您运行的是7.6或更高版本的节点,更好的方法是使用与promises一起使用的async await。

所以你的代码看起来像

const start = async() => {
  const connect = await connectToMongoDb(url);
  const cas = await connect.createYourCollection();
  const isPageHasUpdates = oneMoreFunction(); // i don't know how you gonna check it
  if(isPageHasUpdates) {
      await step 4;
      await step 5;
      await step 6;
  }
  await step 7
  return something; // if you want
}

start()
.then(res => console.log(res)) // here you can use result of your start function if you return something or skip this then
.catch(err => console.log(err)); // do something with your error

确定你要等待的任何功能都应该像你使用你的连接功能那样被宣传(但是如果你使用的https://www.npmjs.com/package/mongodb函数已经被宣传了)

<强>更新

最好的方法是使用mongoose,但如果您想使用本机mongodb,您可以像这样编写mongodb https://pastebin.com/BHHc0uVN(仅举例)

您可以根据需要展开此示例。

您可以创建函数createCollection

const createCollection = (connection, collectionName) => {
  return connection.createCollection(collectionName); // actually i'm not sure that this function exists in mongodb driver
}

用法将是:

const mongodbLib = require('./lib/mongodb'); //path to db.js file
mongodbLib.init()
  .then(connection => mongodbLib.createCollection(connection, 'cas'))
  .then(() => doSmthElse())

或者,如果您确定init已完成(您可以在主脚本之前执行一次,例如启动服务器或执行任何操作)

const mongodbLib = require('./lib/mongodb'); //path to db.js file
const connection = mongodbLib.getConnection();

或者,如果您想在步骤6中简单地使用集合,请添加您的cas集合(如示例文件中的用户)。但是这也可以在你的init函数完成时使用。 因此用法将是

const mongodbLib = require('./lib/mongodb');
const cas = mongodbLib.collections.cas;
cas().insertMany(docs)
  .then()
  .catch()