查找数据帧的两个字符串列之间的相似性

时间:2018-08-20 15:57:52

标签: python string pandas nlp similarity

我是编程新手。我有一个熊猫数据框,其中有两个字符串列。

数据框如下:

Col-1             Col-2
Update            have a account
Account           account summary
AccountDTH        Cancel
Balance           Balance Summary
Credit Card       Update credit card

在这里,我需要检查Col-2元素与Col-1的每个元素的相似性。 这意味着我必须将have a accountCol-1的所有元素进行比较。 然后找到前三名相似的人。假设相似性得分是:Account(85),AccountDTH(80),Balance(60),Update(45),Credit Card(35)

预期输出为:

Col-2              Output
have a account     Account(85),AccountDTH(80),Balance(60)

1 个答案:

答案 0 :(得分:7)

您可以在此处使用类似fuzzywuzzy的Python库,该库支持此类任务:

from fuzzywuzzy import process

df.assign(Output=[process.extract(i, df['Col-1'], limit=3) for i in df['Col-2']])

使用process方法,我们可以得到字符串相似度分数,然后选择前3个(如果存在3个):

以上代码的输出:

         Col-1               Col-2                                                         Output
0       Update      have a account       [(Account, 90, 1), (AccountDTH, 64, 2), (Update, 40, 0)]
1      Account     account summary  [(Account, 90, 1), (AccountDTH, 63, 2), (Credit Card, 38, 4)]
2   AccountDTH              Cancel      [(Balance, 62, 3), (Credit Card, 43, 4), (Update, 33, 0)]
3      Balance     Balance Summary      [(Balance, 90, 3), (Credit Card, 38, 4), (Update, 30, 0)]
4  Credit Card  Update credit card   [(Update, 90, 0), (Credit Card, 90, 4), (AccountDTH, 27, 2)]

要加快此比较的速度(本机使用Python的序列匹配器),建议安装python-Levenshtein