我有几十个条件(例如,foo > bar
),我需要在DataFrame
的~1MM行上进行评估,最简洁的方法是将这些条件存储为字符串列表并创建一个DataFrame
布尔结果(每条记录一行x每个条件一列)。 (用户输入不正在评估。)
在寻求过早优化的过程中,我试图确定是否应该在DataFrame
内编写这些条件以进行评估(例如,df.eval("foo > bar")
或者将其保留为eval("df.foo > df.bar")
中的python
根据documentation on enhancing eval performance:
您不应将eval()用于简单表达式或表达式 涉及小型DataFrame。实际上,eval()是很多订单 较小的表达式/对象的速度比普通的OL慢 蟒蛇。一个好的经验法则是当你有一个时只使用eval() DataFrame超过10,000行。
能够使用df.eval("foo > bar")
语法会很好,因为我的列表会更具可读性,但是我找不到一个评估速度不慢的情况。文档显示了pandas.eval()
比python eval()
更快(符合我的经验)的示例,但DataFrame.eval()
没有(列为'实验')。
例如,DataFrame.eval()
在大型DataFrame
的非简单表达式中仍然是一个明显的输家:
import pandas as pd
import numpy as np
import numexpr
import timeit
someDf = pd.DataFrame({'a':np.random.uniform(size=int(1e6)), 'b':np.random.uniform(size=int(1e6))})
%timeit -n100 someDf.eval("a**b - a*b > b**a - b/a") # DataFrame.eval() on notional expression
%timeit -n100 eval("someDf['a']**someDf['b'] - someDf['a']*someDf['b'] > someDf['b']**someDf['a'] - someDf['b']/someDf['a']")
%timeit -n100 pd.eval("someDf.a**someDf.b - someDf.a*someDf.b > someDf.b**someDf.a - someDf.b/someDf.a")
100 loops, best of 3: 29.9 ms per loop
100 loops, best of 3: 18.7 ms per loop
100 loops, best of 3: 15.4 ms per loop
DataFrame.eval()
仅仅是简化输入的好处,还是我们可以确定使用此方法实际上更快的情况?
关于何时使用哪个eval()
还有其他指导原则吗? (我知道pandas.eval()
不支持完整的操作集。)
pd.show_versions()
INSTALLED VERSIONS
------------------
commit: None
python: 3.5.1.final.0
python-bits: 64
OS: Windows
OS-release: 7
machine: AMD64
processor: Intel64 Family 6 Model 63 Stepping 2, GenuineIntel
byteorder: little
LC_ALL: None
LANG: en_US
pandas: 0.18.0
nose: 1.3.7
pip: 8.1.2
setuptools: 20.3
Cython: 0.23.4
numpy: 1.10.4
scipy: 0.17.0
statsmodels: None
xarray: None
IPython: 4.1.2
sphinx: 1.3.1
patsy: 0.4.0
dateutil: 2.5.3
pytz: 2016.2
blosc: None
bottleneck: 1.0.0
tables: 3.2.2
numexpr: 2.5
matplotlib: 1.5.1
openpyxl: 2.3.2
xlrd: 0.9.4
xlwt: 1.0.0
xlsxwriter: 0.8.4
lxml: 3.6.0
bs4: 4.4.1
html5lib: None
httplib2: None
apiclient: None
sqlalchemy: 1.0.12
pymysql: None
psycopg2: None
jinja2: 2.8
boto: 2.39.0
答案 0 :(得分:7)
DataFrame.eval()的好处仅在于简化输入,还是我们可以确定使用此方法实际上更快的情况?
DataFrame.eval()的source code表明它实际上只是创建了传递给pd.eval()的参数:
def eval(self, expr, inplace=None, **kwargs):
inplace = validate_bool_kwarg(inplace, 'inplace')
resolvers = kwargs.pop('resolvers', None)
kwargs['level'] = kwargs.pop('level', 0) + 1
if resolvers is None:
index_resolvers = self._get_index_resolvers()
resolvers = dict(self.iteritems()), index_resolvers
if 'target' not in kwargs:
kwargs['target'] = self
kwargs['resolvers'] = kwargs.get('resolvers', ()) + tuple(resolvers)
return _eval(expr, inplace=inplace, **kwargs)
其中_eval()只是在模块开头导入的pd.eval()的别名:
from pandas.core.computation.eval import eval as _eval
所以你可以使用df.eval()
进行任何操作,可以使用pd.eval()
+一些额外的行进行设置。目前的情况是,df.eval()
绝不会比pd.eval()
严格得快。但这并不意味着不会出现df.eval()
与pd.eval()
一样好的情况,但写作更方便。
然而,在使用%prun
魔术后,似乎df.eval()
对df._get_index_resolvers()
的调用会在df.eval()
方法的相当长的时间内增加。最终,_get_index_resolvers()
最终会调用.copy()
的{{1}}方法,这最终会减慢速度。同时,numpy.ndarray
会在某个时刻调用pd.eval()
,但这需要的时间可以忽略不计(至少在我的机器上)。
长话短说,似乎numpy.ndarray.copy()
往往比df.eval()
慢,因为它只是pd.eval()
的额外步骤,而这些步骤并非易事。