我有一个相当大的CSV文件，它包含9917530行（没有标题）和54列。列是实数或整数，只有一个包含日期。文件上有一些NULL值，在我将其加载到pandas nan后会转换为DataFrame，我喜欢这样：
import pandas as pd
data = pd.read_csv('data.csv')
加载后，我认为非常快，导致它花了大约30秒（几乎与使用Unix工具wc计算行数相同），该过程占用了大约4Gb的RAM（大小）磁盘上的文件：2.2 Gb。到目前为止一直很好。
然后我尝试执行以下操作：
column_means = data.mean()
这个过程占用的内存很快就增长到了〜22Gb。我还可以看到处理器（一个核心）非常繁忙 - 就像三个小时一样，之后我杀死了这个过程，因为我需要将机器用于其他事情。我有一台装有Linux的相当快的PC - 它有2个处理器，每个处理器有4个内核，因此它共有8个内核，以及32 Gb的RAM。我不敢相信计算列方法应该花这么长时间。
有人能解释为什么DataFrame.mean()这么慢吗？更重要的是，什么是更好的计算文件列的方法？如果我使用不同的函数而不是DataFrame.mean()或者使用完全不同的工具，我是否尽可能不加载文件？
非常感谢提前。
EDIT。以下是df.info()显示的内容：
<class 'pandas.core.frame.DataFrame'>
Int64Index: 9917530 entries, 0 to 9917529
Data columns (total 54 columns):
srch_id 9917530 non-null values
date_time 9917530 non-null values
site_id 9917530 non-null values
visitor_location_country_id 9917530 non-null values
visitor_hist_starrating 505297 non-null values
visitor_hist_adr_usd 507612 non-null values
prop_country_id 9917530 non-null values
prop_id 9917530 non-null values
prop_starrating 9917530 non-null values
prop_review_score 9902900 non-null values
prop_brand_bool 9917530 non-null values
prop_location_score1 9917530 non-null values
prop_location_score2 7739150 non-null values
prop_log_historical_price 9917530 non-null values
position 9917530 non-null values
price_usd 9917530 non-null values
promotion_flag 9917530 non-null values
srch_destination_id 9917530 non-null values
srch_length_of_stay 9917530 non-null values
srch_booking_window 9917530 non-null values
srch_adults_count 9917530 non-null values
srch_children_count 9917530 non-null values
srch_room_count 9917530 non-null values
srch_saturday_night_bool 9917530 non-null values
srch_query_affinity_score 635564 non-null values
orig_destination_distance 6701069 non-null values
random_bool 9917530 non-null values
comp1_rate 235806 non-null values
comp1_inv 254433 non-null values
comp1_rate_percent_diff 184907 non-null values
comp2_rate 4040633 non-null values
comp2_inv 4251538 non-null values
comp2_rate_percent_diff 1109847 non-null values
comp3_rate 3059273 non-null values
comp3_inv 3292221 non-null values
comp3_rate_percent_diff 944007 non-null values
comp4_rate 620099 non-null values
comp4_inv 692471 non-null values
comp4_rate_percent_diff 264213 non-null values
comp5_rate 4444294 non-null values
comp5_inv 4720833 non-null values
comp5_rate_percent_diff 1681006 non-null values
comp6_rate 482487 non-null values
comp6_inv 524145 non-null values
comp6_rate_percent_diff 193312 non-null values
comp7_rate 631077 non-null values
comp7_inv 713175 non-null values
comp7_rate_percent_diff 277838 non-null values
comp8_rate 3819043 non-null values
comp8_inv 3960388 non-null values
comp8_rate_percent_diff 1225707 non-null values
click_bool 9917530 non-null values
gross_bookings_usd 276592 non-null values
booking_bool 9917530 non-null values
dtypes: float64(34), int64(19), object(1)None
答案 0 :(得分：12)
这是一个类似的大小，但没有对象列
In [10]: nrows = 10000000
In [11]: df = pd.concat([DataFrame(randn(int(nrows),34),columns=[ 'f%s' % i for i in range(34) ]),DataFrame(randint(0,10,size=int(nrows*19)).reshape(int(nrows),19),columns=[ 'i%s' % i for i in range(19) ])],axis=1)
In [12]: df.iloc[1000:10000,0:20] = np.nan
In [13]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 10000000 entries, 0 to 9999999
Data columns (total 53 columns):
f0 9991000 non-null values
f1 9991000 non-null values
f2 9991000 non-null values
f3 9991000 non-null values
f4 9991000 non-null values
f5 9991000 non-null values
f6 9991000 non-null values
f7 9991000 non-null values
f8 9991000 non-null values
f9 9991000 non-null values
f10 9991000 non-null values
f11 9991000 non-null values
f12 9991000 non-null values
f13 9991000 non-null values
f14 9991000 non-null values
f15 9991000 non-null values
f16 9991000 non-null values
f17 9991000 non-null values
f18 9991000 non-null values
f19 9991000 non-null values
f20 10000000 non-null values
f21 10000000 non-null values
f22 10000000 non-null values
f23 10000000 non-null values
f24 10000000 non-null values
f25 10000000 non-null values
f26 10000000 non-null values
f27 10000000 non-null values
f28 10000000 non-null values
f29 10000000 non-null values
f30 10000000 non-null values
f31 10000000 non-null values
f32 10000000 non-null values
f33 10000000 non-null values
i0 10000000 non-null values
i1 10000000 non-null values
i2 10000000 non-null values
i3 10000000 non-null values
i4 10000000 non-null values
i5 10000000 non-null values
i6 10000000 non-null values
i7 10000000 non-null values
i8 10000000 non-null values
i9 10000000 non-null values
i10 10000000 non-null values
i11 10000000 non-null values
i12 10000000 non-null values
i13 10000000 non-null values
i14 10000000 non-null values
i15 10000000 non-null values
i16 10000000 non-null values
i17 10000000 non-null values
i18 10000000 non-null values
dtypes: float64(34), int64(19)
计时（类似的机器规格）
In [14]: %timeit df.mean()
1 loops, best of 3: 21.5 s per loop
你可以通过预转换为浮点数来获得2倍的加速（这意味着这样做，但是以更一般的方式进行，所以更慢）
In [15]: %timeit df.astype('float64').mean()
1 loops, best of 3: 9.45 s per loop
你的问题是对象列。 Mean将尝试计算所有列，但由于对象列，所有内容都被上传到object dtype，这对于计算效率不高。
最好的办法是
df._get_numeric_data().mean()
在较低级别可以选择执行此操作numeric_only，但出于某种原因，我们不会通过顶级函数直接支持此功能（例如，均值）。我认为会产生一个问题来添加这个参数。但默认情况下可能为False（不排除）。
答案 1 :(得分：0)
您可以尝试这样-
pd.DataFrame（data.describe（））
我注意到这比我在数据帧上使用均值的情况要快