使用nodejs选择数百万行

时间:2014-03-16 14:53:53

标签: mysql node.js

我有许多运行相同应用程序的生产服务器(30+)。需要对所有这些数据库中某个表的组合值进行一些处理。

所以,我创建了一个包含所需列的表,我将执行以下操作:

  1. 连接到destination_server:database_name
  2. 连接到server_1:database_name,SELECT col1,col2,col3 FROM the_table //选择所有表格
  3. 处理每一行并将其插入目标服务器
  4. 注意:

    • 处理几乎是微不足道的,我在运行此节点脚本的机器上有很多CPU / RAM。
    • 每张表包含1000万行+
    • 我打算使用Streaming query rows
    • 步骤2(连接到源服务器)将为所有服务器并行完成

    问题:

    选择所有大表是否会影响生产服务器上的性能?

    节点是否适合此类任务?

0 个答案:

没有答案