我使用 MySQL 在 Python 中启动新项目。
我只是尝试通过 MySQLdb 包将 CSV 的数百万条记录插入 MySQL 。
我的代码:
import pandas as pd
import MySQLdb
#Connect with MySQL
db = MySQLdb.connect('localhost','root','****','MY_DB')
cur = db.cursor()
#Reading CSV
df = pd.read_csv('/home/shankar/LAB/Python/Rough/******.csv')
for i in df.COMPANY_NAME:
i = i.replace("'","")
i = i.replace("\\","")
#i = i.encode('latin-1', 'ignore')
cur.execute("INSERT INTO polls_company (name) VALUES ('" + i + "')")
db.commit()
此代码在某些CSV文件中正常工作,但在少量CSV文件中存在问题。
错误:
---------------------------------------------------------------------------
UnicodeEncodeError Traceback (most recent call last)
<ipython-input-7-aac849862588> in <module>()
13 i = i.replace("\\","")
14 #i = i.encode('latin-1', 'ignore')
---> 15 cur.execute("INSERT INTO polls_company (name) VALUES ('" + i + "')")
16 db.commit()
/home/shankar/.local/lib/python3.5/site-packages/MySQLdb/cursors.py in execute(self, query, args)
211
212 if isinstance(query, unicode):
--> 213 query = query.encode(db.unicode_literal.charset, 'surrogateescape')
214
215 res = None
UnicodeEncodeError: 'latin-1' codec can't encode character '\ufffd' in position 49: ordinal not in range(256)
此处,此“字符编码”问题仅出现在某些CSV文件中,但我希望使用常见的编码技术进行自动插入。
因为编码的CSV文件使用“utf-8”,“latin-1”等等...
如果我使用 utf-8 :那么我在 latin-1 中出错了 反之亦然
那么,有没有办法使用通用编码来操作所有类型的CSV文件
或
任何其他解决方法?
[提前致谢...]
答案 0 :(得分:1)
我会让大熊猫处理编码,你不需要循环你的DF。让我们做一下熊猫的方式:
import pandas as pd
import MySQLdb
#Connect with MySQL
db = MySQLdb.connect('localhost','root','****','MY_DB')
cur = db.cursor()
#Reading CSV
df = pd.read_csv('/home/shankar/LAB/Python/Rough/******.csv')
df.COMPANY_NAME.str.replace(r"['\]*", "").rename(columns={'COMPANY_NAME':'name'}).to_sql('polls_company', db, if_exists='append', index=False)