从CSV读取批量数据并写入另一个csv

Question

我有一个1 cr行数据的 csv文件。从这个文件我必须从 csv 读取数据并使用第一个字段我需要在我的数据库中检查条件，然后从Db获取一个密钥并附加所有prevoius数据并写入另一个 csv 。我从 CSV 中读到了我为此编写的代码，但是读取和写入一个2万亿行数据需要花费数天的时间。在这里，我使用单线程来完成所有这些 示例代码是我遵循以下步骤：

  

1）。从CSF读取数据   2）。从csv读取第一个字段并检查条件（在此我是   检查5个条件）   3）。并写入CSV。

Answer 1

在我看来，将CSV读入数据库然后编写语句来过滤数据比使用代码逐行读取文件更有效。

如果您使用MySQL，可以参考以下链接以了解有关csv到数据库导入的更多信息：

http://dev.mysql.com/doc/refman/5.0/en/mysqlimport.html

http://support.modwest.com/content/6/253/en/how-do-i-import-delimited-data-into-mysql.html