从nodejs将数据导入弹性搜索

时间:2016-07-26 19:20:32

标签: node.js

我正在使用官方JavaScript客户端设置一个简单的NodeJS REST服务来与Elasticsearch连接。我尝试使用nodejs导入数据,但在1500条记录后失败。我想在elasticsearch中导入200万个数据

1 个答案:

答案 0 :(得分:2)

我有了使用nodejs导入数百万个数据的想法。

  1. 首先,我们需要分成很多部分
  2. 使用async来管理nodejs的异步行为。
  3. 默认情况下,节点js中的内存限制为512 MB,但在这种情况下,您需要增加8 GB。
      

    node --max-old-space-size = 8192 my-node-script.js #increase to 8gb。

  4. 现在运行它。