Question

我尝试在 groupby() 上使用 dask dataframe ，但是在增加时会收到标题中提到的 ValueError 分区数。 groupby() 应用于非索引列。

实际数据集是具有约14,000,000行的CSV。我已经试验了一个较小的140,000行样本，对于 npartition = {2,3或4} ，一切正常，但是设置 npartition = 5 会导致ValueError。 br /> 使用“ dd.read_csv（）” 读取整个CSV（1400万行）并将npartition设置为任意值（npartition = 40由dask自动选择）会导致ValueError。

我还尝试将set_index（）用于非索引列“ vendor_id”，该列会返回一个空数据框-我也不理解

我正在使用ubuntu 18.04最新的conda安装达人1.2.0 熊猫0.24.2 numpy 1.16.3

示例代码：

import numpy as np
import pandas as pd
import dask.dataframe as dd


#small sample df:
dict_sample= {'vendor_id': {0: 'CMT',  1: 'CMT',  2: 'CMT',  3: 'CMT',  4: 'VTS',  5: 'VTS',  6: 'VTS',  7: 'VTS',  8: 'CMT',  9: 'VTS',  10: 'VTS',  11: 'VTS',  12: 'VTS',  13: 'VTS'},
 'pickup_datetime': {0: '2009-01-22 11:21:35',  1: '2009-01-22 21:17:22',  2: '2009-01-09 22:25:13',  3: '2009-01-23 17:20:01',  4: '2009-01-24 23:18:00',  5: '2009-01-26 22:03:00',  6: '2009-01-02 15:58:00',  7: '2009-01-16 19:38:00',  8: '2009-01-13 18:57:06',  9: '2009-01-09 14:51:00',  10: '2009-01-14 18:15:00',  11: '2009-01-02 23:17:00',  12: '2009-01-31 09:59:00',  13: '2009-01-19 14:57:00'},
 'passenger_count': {0: 1,  1: 1,  2: 2,  3: 1,  4: 1,  5: 1,  6: 5,  7: 5,  8: 1,  9: 1,  10: 1,  11: 1,  12: 1,  13: 1}}


df_ = pd.DataFrame(dict_sample)


#dask:

ddf_raw = dd.from_pandas(df_, npartitions=3)

ddf_raw['pickup_datetime'] = dd.to_datetime(ddf_raw['pickup_datetime'])


#using groupby:
date_grouper = pd.Grouper(key='pickup_datetime',freq='1H',label="left")
ddf_raw_grouped = ddf_raw.groupby(['vendor_id',date_grouper]).passenger_count.count()

ddf_raw_grouped.head()

使用140,000行和npartitions = 5将导致：

...sorter = np.lexsort((labels, self.indexer))

ValueError: all keys need to be the same shape

尝试set_index（）

ddf_raw = ddf_raw.set_index('vendor_id')
ddf_raw.head()

返回

Empty DataFrame
Columns: [pickup_datetime, passenger_count]
Index: []

我是个新手，我不明白是什么触发了 ValueError 。将 pandas 中的 groupby（）与140,000行的示例配合使用，不会出现任何问题。

此外，我注意到使用 npartitions 也会更改“ passenger_count.count（）”值的最终结果

最后，我尝试将错误复制到另一个数据集

import dask
df_dask = dask.datasets.timeseries()

df_dask = df_dask.repartition(npartitions= 20)
f = pd.Grouper(key='timestamp',freq='1H',label="left")
g = pd.Grouper(key='name')
df_dask = df_dask.groupby([g, f]).x.count()
df_dask.head()

在这种情况下， groupby（）可以正常工作，但“ x.count（）” 的最终结果仍会随 npartitions的不同而改变。

我看不到CSV出了什么问题

##更新：

我已设法通过以下变通办法使用 groupby（），但在另一列上（“ pickup_id”）：


ddf_raw = ddf_raw.set_index("pickup_id")

ddf_raw = ddf_raw.persist()

def groupby_date_pickup(df,grouper_1,grouper_2):

    df_local = df[[grouper_1,grouper_2]].copy()

    date_grouper = pd.Grouper(key=grouper_1,freq='1H',label="left")
    df_local_grouped = df_local.groupby([df_local.index, date_grouper])[grouper_2].count()

    print("Grouping Step")
    return df_local_grouped


grouped_ddf = ddf_raw.map_partitions(groupby_date_pickup, "pickup_datetime", "passenger_count")

如何使用Dask groupby修复“ ValueError：所有键都必须具有相同的形状”

0 个答案: