将数千个文本文件导入数据库

时间:2011-10-30 15:06:17

标签: mysql import

我对数据库很新,需要帮助。我有n(大)文件,每个文件包含m(非常大)的文本文件(数字数据)。将这些文件导入mysql数据库的最佳方法是什么?

2 个答案:

答案 0 :(得分:0)

通常会用perl编写脚本(或者首选任何脚本语言,提供MySQL支持)并一个接一个地处理文件,对文件内的文件/行应用必要的处理。如果您想要更具体的答案,请询问更具体的问题

答案 1 :(得分:0)

如果您只需要执行一次,或者导入过程每次都非常相似,我建议使用ETL software Kettle by Pentaho(这个软件通常称为水壶)。虽然这个软件远非完美,但我发现我经常可以在一小部分时间内导入数据,而这些时间只需要为一个特定文件编写脚本。您可以选择文本文件输入并指定分隔符,固定宽度等。然后直接导出到您的SQL服务器(它们支持MySql,SQLite,Oracle等等)。

如果您想研究其他类型的软件,它通常被称为ETL软件,也就是Extract Transform Load的缩写。

如果您熟悉python,我还会推荐this page

上的最后一篇文章