熊猫:如何在2个不同的数据帧上迭代for循环?

时间:2017-10-13 20:23:45

标签: python pandas for-loop fuzzywuzzy

我正在尝试计算2个数据框中多行的模糊比:

DF1:

id    name
1     Ab Cd E
2     X.Y!Z
3     fgh I

DF2:

name_2
abcde
xyz

我想计算df1.name和df2.name_2中所有值之间的模糊比:

要做到这一点,我有代码:

for i in df1['name']:
    for r in df2['name_2']:
        print(fuzz.ratio(i,r))

但是我希望最终的结果也是来自df1的id。理想情况下看起来像这样:

final_df:

id      name        name_2    score
1      Ab Cd E      abcde      50
1      Ab Cd E       xyz        0
2       X.Y!Z       abcde       0
2       X.Y!Z        xyz       60
3       fgh I       abcde       0
3       fgh I        xyz        0

感谢您的帮助!

2 个答案:

答案 0 :(得分:1)

您可以像这样解决问题:

创建一个空的DataFrame:

final = pandas.DataFrame({'id': [], 'name': [], 'name_2': [], 'score': []})

迭代插入id,名称和分数的两个DataFrame,并将其连接到最终的DataFrame:

for id, name in zip(df1['id'], df1['name']):
    for name2 in df2['name_2']:
        tmp = pandas.DateFrame({'id': id, 'name': name, 'name_2': name2, 'score': fuzz.ratio(name, name2)})
    final = pandas.concat([final, tmp], ignore_index=True)

print(final)

这可能是一种更清洁,更有效的方法,但我希望这会有所帮助。

答案 1 :(得分:1)

我不完全理解lambda函数在pd.apply中的应用,但经过一些搜索后,我认为这是一个合理的解决方案。

import pandas as pd
from fuzzywuzzy import fuzz

d = [{'id': 1, 'name': 'Ab Cd e'}, {'id': 2, 'name': 'X.Y!Z'}, {'id': 3, 'name': 'fgh I'}] 
df1 = pd.DataFrame(d)
df2 = pd.DataFrame({'name_2': ['abcde', 'xyz']})

这是熊猫的交叉联接;需要一个tmp df pandas cross join no columns in common

df1['tmp'] = 1
df2['tmp'] = 1

df = pd.merge(df1, df2, on=['tmp'])
df = df.drop('tmp', axis=1)

您可以.applyfuzz.ratio功能df添加到df['fuzz_ratio'] = df.apply(lambda row: fuzz.ratio(row['name'], row['name_2']), axis = 1) df 中的列。 Pandas: How to use apply function to multiple columns

df1

我还尝试在import _imp 上设置索引,但这导致将其排除在交叉加入的df之外。