非常感谢有关此问题的任何帮助。
所以基本上我想对我的SQL数据库运行查询并将返回的数据存储为Pandas数据结构。
我附上了查询代码。
我正在阅读关于Pandas的文档，但是我无法确定查询的返回类型。
我尝试打印查询结果，但它没有提供任何有用的信息。
感谢!!!!
from sqlalchemy import create_engine
engine2 = create_engine('mysql://THE DATABASE I AM ACCESSING')
connection2 = engine2.connect()
dataid = 1022
resoverall = connection2.execute("
SELECT
sum(BLABLA) AS BLA,
sum(BLABLABLA2) AS BLABLABLA2,
sum(SOME_INT) AS SOME_INT,
sum(SOME_INT2) AS SOME_INT2,
100*sum(SOME_INT2)/sum(SOME_INT) AS ctr,
sum(SOME_INT2)/sum(SOME_INT) AS cpc
FROM daily_report_cooked
WHERE campaign_id = '%s'", %dataid)
所以我想知道我的变量“resoverall”的格式/数据类型是什么，以及如何将它与PANDAS数据结构一起使用。
答案 0 :(得分：93)
这是完成这项工作的最短代码：
from pandas import DataFrame
df = DataFrame(resoverall.fetchall())
df.columns = resoverall.keys()
你可以像保罗的回答一样更好地解析这些类型。
答案 1 :(得分：30)
如果您使用的是SQLAlchemy的ORM而不是表达式语言，您可能会发现自己想要将sqlalchemy.orm.query.Query类型的对象转换为Pandas数据框。
最干净的方法是从查询的语句属性中获取生成的SQL，然后使用pandas的read_sql()方法执行它。例如，从名为query的查询对象开始：
df = pd.read_sql(query.statement, query.session.bind)
答案 2 :(得分：23)
pandas现在有一个read_sql功能。你肯定想要使用它。
我无法帮助您使用SQLAlchemy - 我总是根据需要使用pyodbc，MySQLdb或psychopg2。但是当这样做时，一个像下面那样简单的功能可以满足我的需求：
import decimal
import pydobc
import numpy as np
import pandas
cnn, cur = myConnectToDBfunction()
cmd = "SELECT * FROM myTable"
cur.execute(cmd)
dataframe = __processCursor(cur, dataframe=True)
def __processCursor(cur, dataframe=False, index=None):
'''
Processes a database cursor with data on it into either
a structured numpy array or a pandas dataframe.
input:
cur - a pyodbc cursor that has just received data
dataframe - bool. if false, a numpy record array is returned
if true, return a pandas dataframe
index - list of column(s) to use as index in a pandas dataframe
'''
datatypes = []
colinfo = cur.description
for col in colinfo:
if col[1] == unicode:
datatypes.append((col[0], 'U%d' % col[3]))
elif col[1] == str:
datatypes.append((col[0], 'S%d' % col[3]))
elif col[1] in [float, decimal.Decimal]:
datatypes.append((col[0], 'f4'))
elif col[1] == datetime.datetime:
datatypes.append((col[0], 'O4'))
elif col[1] == int:
datatypes.append((col[0], 'i4'))
data = []
for row in cur:
data.append(tuple(row))
array = np.array(data, dtype=datatypes)
if dataframe:
output = pandas.DataFrame.from_records(array)
if index is not None:
output = output.set_index(index)
else:
output = array
return output
答案 3 :(得分：9)
这是我使用的代码。希望这会有所帮助。
import pandas as pd
from sqlalchemy import create_engine
def getData():
# Parameters
ServerName = "my_server"
Database = "my_db"
UserPwd = "user:pwd"
Driver = "driver=SQL Server Native Client 11.0"
# Create the connection
engine = create_engine('mssql+pyodbc://' + UserPwd + '@' + ServerName + '/' + Database + "?" + Driver)
sql = "select * from mytable"
df = pd.read_sql(sql, engine)
return df
df2 = getData()
print(df2)
答案 4 :(得分：9)
对于那些使用mysql连接器的人，您可以使用此代码作为开始。 （感谢@Daniel Velkov）
使用过refs：
import pandas as pd
import mysql.connector
# Setup MySQL connection
db = mysql.connector.connect(
host="<IP>", # your host, usually localhost
user="<USER>", # your username
password="<PASS>", # your password
database="<DATABASE>" # name of the data base
)
# You must create a Cursor object. It will let you execute all the queries you need
cur = db.cursor()
# Use all the SQL you like
cur.execute("SELECT * FROM <TABLE>")
# Put it all to a data frame
sql_data = pd.DataFrame(cur.fetchall())
sql_data.columns = cur.column_names
# Close the session
db.close()
# Show the data
print(sql_data.head())
答案 5 :(得分：4)
与Nathan一样，我经常想将sqlalchemy或sqlsoup查询的结果转储到Pandas数据框中。我自己的解决方案是：
query = session.query(tbl.Field1, tbl.Field2)
DataFrame(query.all(), columns=[column['name'] for column in query.column_descriptions])
答案 6 :(得分：4)
这是对您的问题的简短回答：
from __future__ import print_function
import MySQLdb
import numpy as np
import pandas as pd
import xlrd
# Connecting to MySQL Database
connection = MySQLdb.connect(
host="hostname",
port=0000,
user="userID",
passwd="password",
db="table_documents",
charset='utf8'
)
print(connection)
#getting data from database into a dataframe
sql_for_df = 'select * from tabledata'
df_from_database = pd.read_sql(sql_for_df , connection)
答案 7 :(得分：4)
resoverall是sqlalchemy ResultProxy对象。您可以在sqlalchemy docs中阅读有关它的更多信息，后者解释了使用Engines和Connections的基本用法。这里重要的是resoverall类似于。
Pandas喜欢像对象这样的dict来创建数据结构，请参阅online docs
祝你好运sqlalchemy和pandas。
答案 8 :(得分：4)
只需一起使用pandas和pyodbc即可。您必须根据数据库规范修改连接字符串（connstr）。
import pyodbc
import pandas as pd
# MSSQL Connection String Example
connstr = "Server=myServerAddress;Database=myDB;User Id=myUsername;Password=myPass;"
# Query Database and Create DataFrame Using Results
df = pd.read_sql("select * from myTable", pyodbc.connect(connstr))
我已将pyodbc用于多个企业数据库（例如SQL Server，MySQL，MariaDB，IBM）。
答案 9 :(得分：3)
这个问题很老，但我想加两分钱。我将这个问题读作“我想对我的[my] SQL数据库运行查询并将返回的数据存储为Pandas数据结构[DataFrame]。”
从代码看起来你的意思是mysql数据库，并假设你的意思是pandas DataFrame。
import MySQLdb as mdb
import pandas.io.sql as sql
from pandas import *
conn = mdb.connect('<server>','<user>','<pass>','<db>');
df = sql.read_frame('<query>', conn)
例如，
conn = mdb.connect('localhost','myname','mypass','testdb');
df = sql.read_frame('select * from testTable', conn)
这会将testTable的所有行导入DataFrame。
答案 10 :(得分：1)
这是我的。以防您使用＆＃34; pymysql＆＃34;：
import pymysql
from pandas import DataFrame
host = 'localhost'
port = 3306
user = 'yourUserName'
passwd = 'yourPassword'
db = 'yourDatabase'
cnx = pymysql.connect(host=host, port=port, user=user, passwd=passwd, db=db)
cur = cnx.cursor()
query = """ SELECT * FROM yourTable LIMIT 10"""
cur.execute(query)
field_names = [i[0] for i in cur.description]
get_data = [xx for xx in cur]
cur.close()
cnx.close()
df = DataFrame(get_data)
df.columns = field_names
答案 11 :(得分：0)
如果结果类型为 ResultSet ，则应首先将其转换为字典。然后会自动收集 DataFrame列。
这适用于我的情况：
A
B
C
D
E
F
A\2009_2009-01-04
A\name2\human\2007_2007
A\chicken\ird16\2016_20016
A\name3\epi66321\2001_2001-04-04
A\name_with_space\2014_2014
A\name4\66036-8a\2004_2004-12-05
答案 12 :(得分：0)
我这样做的最佳方式
db.execute(query) where db=db_class() #database class
mydata=[x for x in db.fetchall()]
df=pd.DataFrame(data=mydata)
答案 13 :(得分：0)
从上一篇文章开始很长时间，但也许它可以帮助某人...
比Paul H短路：
my_dic = session.query(query.all())
my_df = pandas.DataFrame.from_dict(my_dic)
答案 14 :(得分：0)
# pip install mysql-connector-python
import mysql.connector
import pandas as pd
mydb = mysql.connector.connect(
host = 'host',
user = 'username',
passwd = 'pass',
database = 'db_name'
)
query = 'select * from table_name'
df = pd.read_sql(query, con = mydb)
print(df)
# pip install pymysql
# pip install sqlalchemy
import pandas as pd
import sqlalchemy
engine = sqlalchemy.create_engine('mysql+pymysql://username:password@localhost:3306/db_name')
query = '''
select * from table_name
'''
df = pd.read_sql_query(query, engine)
print(df)
答案 15 :(得分：0)
pandas.io.sql.write_frame已弃用。 https://pandas.pydata.org/pandas-docs/version/0.15.2/generated/pandas.io.sql.write_frame.html
应更改为使用pandas.DataFrame.to_sql https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html
还有另一种解决方案。 PYODBC to Pandas - DataFrame not working - Shape of passed values is (x,y), indices imply (w,z)
自Pandas 0.12起（我相信），您可以：
import pandas
import pyodbc
sql = 'select * from table'
cnn = pyodbc.connect(...)
data = pandas.read_sql(sql, cnn)
在0.12之前，您可以：
import pandas
from pandas.io.sql import read_frame
import pyodbc
sql = 'select * from table'
cnn = pyodbc.connect(...)
data = read_frame(sql, cnn)
答案 16 :(得分：0)
这是一个我喜欢的简单解决方案：
将您的数据库连接信息放在 YAML 文件中的安全位置（不要在代码存储库中对其进行版本控制）。
---
host: 'hostname'
port: port_number_integer
database: 'databasename'
user: 'username'
password: 'password'
然后加载字典中的conf，打开db连接，将SQL查询的结果集加载到数据框中：
import yaml
import pymysql
import pandas as pd
db_conf_path = '/path/to/db-conf.yaml'
# Load DB conf
with open(db_conf_path) as db_conf_file:
db_conf = yaml.safe_load(db_conf_file)
# Connect to the DB
db_connection = pymysql.connect(**db_conf)
# Load the data into a DF
query = '''
SELECT *
FROM my_table
LIMIT 10
'''
df = pd.read_sql(query, con=db_connection)