我目前正从R切换到Python(anconda / Spyder Python 3)以进行数据分析。在R中,我经常使用很多R sqldf。由于我擅长sql查询,因此我不想重新学习data.table语法。使用R sqldf,我从未遇到性能问题。
现在,在Python中,我尝试使用pandasql,一个简单的df = "SELECT * From table LIMIT 1"
将在193k行,19列上永久使用。
我尝试了pysqldf,但收到一条错误消息,说该表不存在,但它确实存在。
# -*- coding: utf-8 -*-
import pandas as pd
import pandasql
import pysqldf
#Data loading
orders = pd.read_csv('data/orders.csv',sep = ';')
###### PANDASQL ######
test = pandasql.sqldf("SELECT orders_id from orders LIMIT 1;",globals())
# Will last several minutes and use a lot of RAM
test = pandasql.sqldf("SELECT orders_id from orders LIMIT 1;",locals())
# Will last several minutes and use a lot of RAM
###### PYSQLDF ######
sqldf = pysqldf.SQLDF(globals())
test = sqldf.execute("SELECT * from orders LIMIT 1;")
#error
#Error for pysqldf
Traceback (most recent call last):
File "<ipython-input-12-30b645117dc4>", line 1, in <module>
test = sqldf.execute("SELECT * from orders LIMIT 1;")
File "C:\Users\p.stepniewski\AppData\Local\Continuum\anaconda3\lib\site-packages\pysqldf\sqldf.py", line 76, in execute
self._del_table(tables)
File "C:\Users\p.stepniewski\AppData\Local\Continuum\anaconda3\lib\site-packages\pysqldf\sqldf.py", line 117, in _del_table
self.conn.execute("drop table " + tablename)
OperationalError: no such table: orders
我想念什么吗?在“学习熊猫查询语法”之前,最好选择pandasql / pysqldf答案。
R中的Sqldf在i7 / 12G ram笔记本电脑上处理了多达1000万行的表上的复杂查询。
谢谢!
答案 0 :(得分:1)
确定刚找到解决方案。