我想将一个pandas数据帧写入postgres表。我按如下方式建立了与db的连接:
import psycopg2
import pandas as pd
import sqlalchemy
def connect(user, password, db, host='localhost', port=5432):
'''Returns a connection and a metadata object'''
url = 'postgresql://{}:{}@{}:{}/{}'
url = url.format(user, password, host, port, db)
# The return value of create_engine() is our connection object
con = sqlalchemy.create_engine(url, client_encoding='utf8')
# We then bind the connection to MetaData()
meta = sqlalchemy.MetaData(bind=con, reflect=True)
return con, meta
con, meta = connect('user_name', 'password', 'db_name', host='host_name')
当我从已经填充的表中读取时,它可以正常工作:
df = pd.read_sql("SELECT * FROM db.table_name limit 10",con=con)
print df
我希望能够将df写入表格。为了测试这个,我有一个名为' test'的临时表。有两个字段名称和年龄。
# create a temp df
table = [['name', 'age'], ['nameA' , 20], ['nameB', 30]]
headers = table.pop(0)
df = pd.DataFrame(table, columns=headers)
# write to db
df.to_sql('db.test', con, if_exists = 'replace', index=False)
然后检查是否填充了临时表:
df = pd.read_sql("SELECT * FROM db.test limit 10",con=con)
print df
我得到一个空的数据帧!我使用df.to_sql时没有出错,但没有任何内容写入数据库(?)。我错过了什么,我该如何解决这个问题?
版本:
Pandas: 0.19.2
Sqlachemy: 1.1.10
Postgres: 9.4.9
答案 0 :(得分:1)
我还没弄清楚为什么df.to_sql
没有写入表格。使用pd.io.sql.SQLDatabase
写入表格适用于我的测试用例:
meta = sqlalchemy.MetaData(con, schema='db_name')
meta.reflect()
pdsql = pd.io.sql.SQLDatabase(con, meta=meta)
pdsql.to_sql(df, 'test', if_exists='replace')
我不会考虑这个解决方案 - 我很乐意接受更好的解决方案,或者为df.to_sql()不按预期运行的原因带来结束的答案。