Question

我使用pandas在两个数据帧之间实现了模糊字符串匹配算法。我的问题是如何将其转换为使用多个内核的dask操作？我的程序在纯python上运行大约3-4天，我想并行化操作以优化时间成本。我已经使用多处理包使用以下代码提取核心数量：

numCores = multiprocessing.cpu_count()

fields = ['id','phase','new']
emb = pd.read_csv('my_csv.csv', skipinitialspace=True, usecols=fields)

然后我必须根据每个字符串关联的数值将数据帧emb细分为两个数据帧（emb1，emb2）。正如在我将数据帧与所有具有值3的元素匹配到其他数据帧中的对应值2匹配的字符串。纯pandas操作的代码如下。

emb1 = emb[emb.phase.isin([3.0])]
emb1.set_index('id',inplace=True)

emb2 = emb[emb.phase.isin([2.0,1.5])]
emb2.set_index('id',inplace=True)

def fuzzy_match(x, choices, scorer, cutoff):
return process.extractOne(x, choices=choices, scorer=scorer, score_cutoff=cutoff)

FuzzyWuzzyResults = pd.DataFrame(emb1.sort_index().loc[:,'strings'].apply(fuzzy_match, args = (emb2.loc[:,'strings'],fuzz.ratio,90)))

我尝试使用此代码执行dask实现：

emb1 = dd.from_pandas(emb1, npartitions=numCores)
emb2 = dd.from_pandas(emb2, npartitions=numCores)

但是为两个数据帧运行lambda函数让我很困惑。有什么想法吗？

Answer 1

所以我修复了我的代码，删除了数据帧的手动分区，改为使用groupby。

以下是代码：

for i in [2.0,1.5]:
    FuzzyWuzzyResults = emb.map_partitions(lambda df: df.groupby('phase').get_group(3.0)['drugs'].apply(fuzzy_match, args=(df.groupby('phase').get_group(i)['drugs'],fuzz.ratio,90)), meta=('results')).compute()

不确定它是否准确，但至少它正在运行，而且所有CPU内核也是如此。

如何在多个数据帧lambda函数上实现dask mappartition？

1 个答案: