需要将csv文件合并为一个然后导入到csv到mysql中的表

时间:2014-09-06 03:18:29

标签: python mysql linux shell csv

我不确定我是否以正确的方式解决这个问题,但我需要做的是将文件夹装满.csv文件并创建一个.csv文件,然后我将导入到mysql中的talbe中。我试图把它分成几个部分,这样我就可以学习每个部分,然后希望把整个包装在一起 我知道在mysql中现在默认情况下不允许使用文件导入将文件上传到数据库中。我能够通过这个工作并获得一个python脚本来将我需要的文件上传到我的mysql表中,因为我必须将文件chown到mysql所以它会wortk。现在我希望在python脚本中添加一种方法来组合文件,然后在一个脚本中运行上传但是在编写脚本以合并文件时遇到了麻烦,所以因为我使用的是linux服务器,所以我找到了cat命令对于工作得很好的外壳。在一个简单的命令中,我可以将目录与.csv组合并将其放在我需要它的目录中。 无论如何我现在拥有的是一个看起来像这样的shell脚本。

#!/bin/bash

#sudo chown root /tmp/qvd.csv

sudo rm /tmp/qvd.csv
cat /media/backup/ups/QVD/*.csv > /media/backup/ups/qvd.csv
#cat /media/backup/ups/QVD/*.csv > /media/backup/ups/qvdbackup
#rm /media/backup/ups/QVD/*.csv
sudo chown mysql /tmp/qvd.csv
cat /media/backup/ups/qvd.csv > /tmp/qvd.csv
rm /media/backup/ups/qvd.csv
python /media/backup/ups/ups.py

如果这个脚本可以工作我不会有问题,但我需要自动删除或能够覆盖/tmp/qvd.csv文件。否则效果很好。合并,将要合并的文件移动到存档文件夹。将创建的qvd.csv文件移动到/ tmp文件夹,然后调用python脚本上传文件。

我是linux的新手,但我总是发现比windows更容易的东西。我想了解更多。

非常感谢任何帮助。

1 个答案:

答案 0 :(得分:0)

  1. 将所有CSV合并为一个:cat /media/backup/ups/QVD/*.csv > /tmp/qvd.csv
  2. 导入(但是你会这样做)