将数百万行读入熊猫数据帧

时间:2017-07-21 22:43:13

标签: python pandas jupyter-notebook

我正在连接Teradata数据库并使用Pandas进行一些数据分析。当我在一个85k行的表中读取时,它会在不到一分钟的时间内读入数据帧。但是,当我尝试使用具有6500万行的表时,内核只能无限期地运行。我正在使用Jupyter Notebook进行分析。

有更好的方法吗?这是一个Jupyter限制还是数据帧不是为了处理这种卷?或者我只需要耐心并让它加载?以下是我的联系方式,如果有帮助的话:

udaExec = teradata.UdaExec(appName="DataAnalysis", version="1.0", 
logConsole=True)
conn = udaExec.connect(method="xxxx", dsn="xxx", username=pwd.username, 
password=pwd.password)
sql_query = "Select * from Table_A"
data = pd.read_sql(sql_query,conn)

由于

0 个答案:

没有答案