Question

我需要创建一个基于dask数据帧的某些条件的列。在熊猫中它是相当简单的：

ddf['TEST_VAR'] = ['THIS' if x == 200607 else  
              'NOT THIS' if x == 200608 else 
              'THAT' if x == 200609 else 'NONE'  
              for x in ddf['shop_week'] ]

在dask中，我必须做同样的事情，如下所示：

def f(x):
    if x == 200607:
         y= 'THIS'
    elif x == 200608 :
         y= 'THAT'
    else :
         y= 1 
    return y

ddf1 = ddf.assign(col1 = list(ddf.shop_week.apply(f).compute()))
ddf1.compute()

问题：

是否有更好/更直接的方法来实现它？
我无法修改第一个数据帧ddf，我需要创建ddf1来改变是dask dataframe的不可变对象吗？

Answer 1

数目：

你现在正在做的事情几乎没问题。在您为最终答案做好准备之前，您无需致电compute。

# ddf1 = ddf.assign(col1 = list(ddf.shop_week.apply(f).compute()))
ddf1 = ddf.assign(col1 = ddf.shop_week.apply(f))

对于某些情况，dd.Series.where可能是合适的

ddf1 = ddf.assign(col1 = ddf.shop_week.where(cond=ddf.balance > 0, other=0))

从版本0.10.2开始，您现在可以直接将列插入到dask.dataframes
中
```
ddf['col'] = ddf.shop_week.apply(f)
```

Answer 2

你可以使用：

f = lambda x: 'THIS' if x == 200607 else 'NOT THIS' if x == 200608 else 'THAT' if x == 200609 else 'NONE'

然后：

ddf1 = ddf.assign(col1 = list(ddf.shop_week.apply(f).compute()))

不幸的是，我对第二个问题没有答案，或者我不理解......

Answer 3

更好的方法可能是将列作为 dask 数组取出，然后在将其添加回数据帧之前执行一些嵌套的 where 操作：

import dask.array as da

x = ddf['shop_week'].to_dask_array()

df['TEST_VAR'] = \
    da.where(x == 200607, 'THIS',
    da.where(x == 200608, 'NOT THIS',
    da.where(x == 200609, 'THAT', 'NONE')))

df['TEST_VAR'].compute()

在dask数据帧中创建if-else条件列

3 个答案: