使用mysql或python代码将一组文本文件导入mysql

时间:2017-04-25 20:01:28

标签: python mysql

我有一个文件夹,其中包含一组具有相同结构的文件.txt。

文件夹目录是E:\ DataExport

其中包含1000个.txt文件:text1.txt,text2.txt,.... 每个txt文件包含一个的价格数据。数据每天更新。一个.txt文件的示例如下所示

Ticker,Date/Time,Open,High,Low,Close,Volume
AAA,7/15/2010,19.581,20.347,18.429,18.698,174100
AAA,7/16/2010,19.002,19.002,17.855,17.855,109200
AAA,7/19/2010,19.002,19.002,17.777,17.777,104900
....

我的问题是,我想:

  1. 通过一行代码将所有文件加载到mysql数据库中,我可以在MySql命令行中逐个执行,但不知道如何一次性导入所有文件到MySql中的一个表中(我已经创建了表)
  2. 每天,当我获得新数据时,我怎么才能在MySql中将新数据更新到表中
  3. 我想使用Python或MySql获得解决方案。我试图谷歌并应用一些解决方案,但不能成功,数据不加载到mySQL

1 个答案:

答案 0 :(得分:1)

  1. 您可以使用python包pandas

    使用read_csv将数据读入DataFrame并使用to_sql方法使用正确的conschema

  2. 您必须跟踪导入的内容。例如,您可以将其保存在最后导入第1032个文件的第54行的文件或数据库中。并执行更新,读取其余内容并导入。