使用流来操作然后将数据写入CSV

Question

我正在编写一个运行MySQL查询的脚本，该查询返回约500万条结果。我需要操纵这些数据：

• 格式
• 编码
• 将某些部分转换为JSON
• 等

然后在尽可能短的时间内将其写入CSV文件。

由于node-mysql模块能够处理流，我认为这是我最好的路线。但是我对编写自己的流来做这件事并不熟悉。

通过格式化功能和CSV流式传输数据的最佳方法是什么。

我们处在一个我们不介意数据输入顺序的位置，只要它能够快速写入CSV文件。

Answer 1

https://github.com/wdavidw/node-csv似乎可以满足您的需求。它可以获取流，写入流，并具有内置变换器。