Question

我想使用pandas将foo.csv导出到我的数据库中。我使用sqlalchemy操作sqlite，并声明一个模型，就像下面的代码一样：

class House:
 __table__name='house'
    id=db.Column(db.Integer,index=True,primary_key=True)
    city=db.Column(db.String(128),index=True,default="")

当我尝试使用pandas.read_csv进行处理时，这是一个示例：df=pd.read_csv('path/foo.csv',error_bad_lines=False)我遇到了错误：

sqlite3.IntegrityError: datatype mismatch

似乎熊猫以字符串形式读取数据。我还搜索了solution来转换数据类型。它确实有帮助，但仍然无法解决我遇到的问题：

     File "pandas/_libs/parsers.pyx", line 1173, in pandas._libs.parsers.TextReader._convert_tokens
    TypeError: Cannot cast array from dtype('O') to dtype('int64') according to the rule 'safe'
    ValueError: invalid literal for int() with base 10

这是我尝试过的代码：

import pandas as pd

col_names=pd.read_csv('path/foo.csv',error_bad_lines=False,nrows=0).columns
type_dict={'price':int,'id':int}
type_dict.update({col:str for col in col_names if col not in type_dict})
con=sqlalchemy.create_engine(Config.SQLALCHEMY_DATABASE_URI,echo=True)
df=pd.read_csv('path/foo.csv',error_bad_lines=False,dtype=type_dict)
df.to_sql(name='house',con=con,if_exists='append',index=False)

注意：我知道有一个question与此类似。但是我看不到它可以帮助解决这个问题。我想知道如何解决这个问题，或者还有其他一些不错的方法可以将csv导出到数据库？

添加了我的部分数据：

id,title,unit,price,latitude
1, US Fut town, 501#2,500,31.199851740354852

使用熊猫读取csv文件时如何转换数据类型？

0 个答案: