Question

我想将panda的describe方法用于SQL表，但是我不能将所有数据都存入内存 - 是否可以使用仅使用sql查询获取信息？

由于

Answer 1

据我所知，df.describe（）没有任何方便，但有一些sql语句可以为您提供所需的所有信息。

在im下面使用SQL-server中的存储过程返回所有列及其数据类型。循环遍历它们以获取float-type的所有列名，然后从它们构建新的查询。

然后将所有内容放在最终的数据框中。我只包括90％，但我认为你可以找出如何添加更多。您可能希望添加比float更多的数据类型。

这个解决方案既丑陋又缓慢，但它对我来说只是将所有数据都拉到数据帧上而在内存上失败了。

import pyodbc
import pandas as pd       

def sql2df(sql, connection):
    df = pd.read_sql(sql=sql, con=connection)
    return df

cnx = pyodbc.connect(r'DRIVER={SQL Server};SERVER=.\SQLEXPRESS;DATABASE=TEST;Trusted_Connection=yes;')

df_columns = sql2df('exec sp_columns test_table', cnx)[['COLUMN_NAME', 'TYPE_NAME']]

numeric_columns = []
for index, row in df_columns.iterrows():
    if row[1] == 'float': #or int or any numeric
        numeric_columns.append(row[0])

final_df = pd.DataFrame(index=(['stdev', 'count', '90%', 'mean']))

for col in numeric_columns:
    standard_dev = sql2df('SELECT STDEV('+col+') FROM dbo.test_table', cnx)\
        .get_value(0,0, takeable=True)

    cnt = sql2df('SELECT COUNT(' + col + ') FROM dbo.test_table', cnx)\
        .get_value(0,0, takeable=True)

    # percentile is 100-N so top 10 means 90 percentile
    ninety_percentile = sql2df('SELECT Min(subq.' + col + ') FROM(SELECT TOP 10 PERCENT ' + col +
                               ' FROM dbo.test_table ORDER BY ' + col + ' DESC) AS subq', cnx)\
        .get_value(0,0, takeable=True)

    mean = sql2df('SELECT AVG(' + col + ') FROM dbo.test_table', cnx)\
        .get_value(0,0, takeable=True)

    final_df[str(col)] = [standard_dev, cnt, ninety_percentile, mean]

print final_df
cnx.close()

熊猫 - 用DB描述表 - 大数据

1 个答案: