python替代解决方案scipy空间距离,当前解决方案返回MemoryError

时间:2017-04-18 09:37:37

标签: python pandas scipy out-of-memory

我有一个数据框和功能:

df = pandas.DataFrame({'Car' : ['BMW_1', 'BMW_2', 'BMW_3', 'WW_1','WW_2','Fiat_1', 'Fiat_2'],
                       'distance'   : [10,25,22,24,37,33,49]})

def my_func(x,y):
   z = 2x + 3y
   return z

我想获得汽车所覆盖的距离的成对组合,并在my_func中使用它们。但有两个条件是x和y不能是相同的品牌和组合不应该重复。期望的输出是这样的:

Car      Distance   Combinations                                
0  BMW_1   10         (BMW_1,WW_1),(BMW_1,WW_2),(BMW_1,Fiat_1),(BMW_1,Fiat_1)
1  BMW_2   25         (BMW_2,WW_1),(BMW_2,WW_2),(BMW_2,Fiat_1),(BMW_2,Fiat_1)
2  BMW_3   22         (BMW_3,WW_1),(BMW_3,WW_2),(BMW_3,Fiat_1),(BMW_3,Fiat_1)
3  WW_1    24         (WW_1, Fiat_1),(WW_1, Fiat_2)
4  WW_2    37         (WW_2, Fiat_1),(WW_2, Fiat_2)
5  Fiat_1  33         None
6  Fiat_2  49         None

//Output
[120, 134, 156, 178]
[113, 145, 134, 132]
[114, 123, 145, 182]
[153, 123] 
[120, 134] 
None 
None 

下一步我想从'输出'的阵列中获得最大数量。每个品牌的排。最终数据看起来应该是

  Car  Max_Distance
0 BMW  178
1 WW   153
2 Fiat None

MaxU在这里给了我一个非常好的答案:python pandas, a function will be applied to the combinations of the elements in one row based on a condition on the other row

但是我一直在记忆错误,尽管我在超级计算机上运行我的代码,因为我的数据集非常大。有没有更多的memort有效的方法来实现这一目标?也许将组合保存到数据库然后获得最大值?

1 个答案:

答案 0 :(得分:1)

所以这是第一件事的代码:

import pandas as pd
import itertools as it

df = pd.DataFrame({'Car' : ['BMW_1', 'BMW_2', 'BMW_3', 'WW_1','WW_2','Fiat_1', 'Fiat_2'],
                       'Distance'   : [10,25,22,24,37,33,49]})


cars = df['Car'].tolist()
combos = [a for a in list(it.combinations(cars,2)) if a[0].split('_')[0] != a[1].split('_')[0]]

maps_combos = {car: [combo for combo in combos if combo[0] == car] for car in cars}
values = {k:v for k,v in df[['Car', 'Distance']].as_matrix()}
maps_values = {i: [2*value[0] + 3*value[1] for value in j] for i, j in {k: [map(lambda x: values[x], item) for item in v] for k, v in maps_combos.items()}.items() if j}

df['Combinations'] = df['Car'].map(maps_combos)
df['Output'] = df['Car'].map(maps_values)

至于最大值,我需要休息一下:)

P.S。我不确定我是否有适合距离乘法的功能。

修改

这个最大的事情(肯定可以做得更好):

df['Max'] = df['Output'].fillna(0).apply(lambda x: max(x) if x != 0 else np.nan)
df['Brand'] = df['Car'].apply(lambda x: x.split('_')[0])
brand_max = df[['Brand', 'Max']].groupby('Brand').max()