在pandas中将numpy.int64转换为python int

时间:2017-09-21 11:10:19

标签: python pandas dataframe sqlalchemy

我有一张带有一张纸的excel文件。它包含两列num1,num2,它们都有整数值。我尝试使用Sqlalchemy和pandas将这些数据拉入Mysql数据库。

from sqlalchemy import create_engine, MetaData,Column,Integer
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker,validates
import pandas as pd

Base = declarative_base()
connection_string = # give your connection string here
engine= create_engine(connection_string)
Base.metadata.bind = engine
s = sessionmaker()
session = s()

class a(Base):
    __tablename__ = 'a'
    id = Column(Integer,primary_key=True)
    num1 = Column(Integer)
    num2 = Column(Integer)

a.__table__.create(checkfirst=True)

excel_sheet_path = # give path to the excel sheet
sheetname = # give your sheet name here

df = pd.read_excel(excel_sheet_path,sheetname).transpose()


dict = df.to_dict()

for i in dict.values():
    session.add(a(**i))
session.commit()

这段代码给我一个AttributeError说

AttributeError: 'numpy.int64' object has no attribute 'translate'

因此,在将数据帧转换为字典之前,我尝试了许多函数,如astype,to_numeric,将数据类型更改为普通的python int,但它们根本不工作。仅当数据帧具有所有整数值时,问题似乎仍然存在。如果你至少有一个类型为字符串或日期的列,那么程序正常工作。我该如何解决这个问题?

1 个答案:

答案 0 :(得分:0)

对此也有麻烦。 我终于找到了一种不太熟练的解决方案,如下所示:

def trans(data):
"""
translate numpy.int/float into python native data type
"""
result = []
for i in data.index:
    # i = data.index[0]
    d0 = data.iloc[i].values
    d = []
    for j in d0:
        if 'int' in str(type(j)):
            res = j.item() if 'item' in dir(j) else j
        elif 'float' in str(type(j)):
            res = j.item() if 'item' in dir(j) else j
        else:
            res = j
        d.append(res)
    d = tuple(d)
    result.append(d)
result = tuple(result)
return result

但是,在处理具有大量行的数据时,它的性能很差。您将花费几分钟来转换具有100,000条记录的数据框。