部分解决方案

Question

我不确定这是否是dask或python功能的错误。简单的例子：

data = pd.DataFrame({'tags': [['dog'], ['cat', 'red'], ['cat'], ['cat', 'red'], ['cat', 'red'], ['dog', 'red']]})
print data

          tags
0       [dog]
1  [cat, red]
2       [cat]
3  [cat, red]
4  [cat, red]
5  [dog, red]

我想创建＆＃34; hot-columns＆＃34;对于每个标签

tags = ['cat', 'dog', 'red']

使用dask：

data = dd.from_pandas(data, npartitions=4)

for tag in tags:
    data[tag] = data.tags.apply(lambda x: tag in x, meta=(tag, bool))

结果是错误的：

print data.compute()
         tags    cat    dog    red
0       [dog]  False  False  False
1  [cat, red]   True   True   True
2       [cat]  False  False  False
3  [cat, red]   True   True   True
4  [cat, red]   True   True   True
5  [dog, red]   True   True   True

似乎lambda始终与循环中的最后一个标记（red）绑定。如果我手动展开循环，它可以正常工作。

使用普通大熊猫我不会遇到这个问题。

部分解决方案

def is_in(items, value):
    return value in items

for tag in tags:
    data[tag] = data.tags.apply(is_in, value=tag, meta=(tag, bool))

我不太喜欢它，因为它迫使论证的顺序非常不自然。顺便说一句，我不确定是否理解了原来的问题。

Answer 1

答案在这里：What do (lambda) function closures capture?它是关于python的词法范围。

更好的解决方案：使用lambda的默认值

for tag in tags:
    data[tag] = data.tags.apply(lambda x, t=tag: t in x, meta=(tag, bool))

dask中的奇怪行为适用于lambda函数的循环

部分解决方案

1 个答案: