Question

我编写了一个名为muzz的函数，利用fuzzywuzzy模块“合并”两个pandas数据帧。效果很好，但在较大的帧上表现相当糟糕。请查看我的apply（）进行提取/评分，如果您有任何想法可以加快速度，请告诉我。

import pandas as pd
import numpy as np
import fuzzywuzzy as fw

创建原始数据框架

dfRaw = pd.DataFrame({'City': {0: u'St Louis',
                      1: 'Omaha',
                      2: 'Chicogo',
                      3: 'Kansas  city',
                      4: 'Des Moine'},
                      'State' : {0: 'MO', 1: 'NE', 2 : 'IL', 3 : 'MO', 4 : 'IA'}})

哪个收益

City    State
0   St Louis    MO
1   Omaha   NE
2   Chicogo IL
3   Kansas city MO
4   Des Moine   IA

然后是一个代表我们想要查找的好数据的框架

dfLocations = pd.DataFrame({'City': {0: 'Saint Louis',
                          1: u'Omaha',
                          2: u'Chicago',
                          3: u'Kansas City',
                          4: u'Des Moines'},
                         'State' : {0: 'MO', 1: 'NE', 2 : 'IL', 
                                   3 : 'KS', 4 : 'IA'},
                          u'Zip': {0: '63201', 1: '68104', 2: '60290', 
                                   3: '68101', 4: '50301'}})

哪个收益

    City    State   Zip
0   Saint Louis MO  63201
1   Omaha   NE  68104
2   Chicago IL  60290
3   Kansas City KS  68101
4   Des Moines  IA  50301

现在是muzz功能。编辑：添加选项=右[match_col_name]行并使用每个Brenbarn申请中的选项。根据Brenbarn的建议，我也使用extractOne（）进行了一些测试而没有应用，它似乎是瓶颈。也许有更快的方法来进行模糊匹配？

 def muzz(left, right, on, match_col_name='match_on',score_col_name='score_match',
     right_suffix='_match', score_cutoff=80):  

     right[match_col_name] = np.sum(right[on],axis=1)
     choices= right[match_col_name] 

     ###The offending statement### 
     left[[match_col_name,score_col_name]] = 
         pd.Series(np.sum(left[on],axis=1)).apply(lambda x : pd.Series(
         fw.process.extractOne(x,choices,score_cutoff=score_cutoff))) 

     dfTemp = pd.merge(left,right,how='left',on=match_col_name,suffixes=('',right_suffix))         
     return dfTemp.drop(match_col_name, axis=1)

调用muzz

muzz(dfRaw.copy(),dfLocations,on=['City','State'], score_cutoff=85)

哪个收益

    City        State   score_match City_match  State_match Zip
0   St Louis    MO      87          Saint Louis MO          63201
1   Omaha       NE      100         Omaha       NE          68104
2   Chicogo     IL      89          Chicago     IL          60290
3   Kansas city MO      NaN         NaN         NaN         NaN
4   Des Moine   IA      96          Des Moines  IA          50301

如何使用模糊匹配语句提高apply（）的性能

0 个答案: