Question

我有4188006行数据。我想按照列Code对数据进行分组。并将Code值设置为键，将相应的数据设置为值int0 a dict`。

_a_stock_basic_data是我的数据：

    Code  date_time        open        high         low       close  \
0      000001.SZ 2007-03-01   19.000000   19.000000   18.100000   18.100000   
1      000002.SZ 2007-03-01   14.770000   14.800000   13.860000   14.010000   
2      000004.SZ 2007-03-01    6.000000    6.040000    5.810000    6.040000   
3      000005.SZ 2007-03-01    4.200000    4.280000    4.000000    4.040000   
4      000006.SZ 2007-03-01   13.050000   13.470000   12.910000   13.110000      
...          ...        ...         ...         ...         ...         ...   
88002  603989.SH 2015-06-30   44.950001   50.250000   41.520000   49.160000   
88003  603993.SH 2015-06-30   10.930000   12.500000   10.540000   12.360000   
88004  603997.SH 2015-06-30   21.400000   24.959999   20.549999   24.790001   
88005  603998.SH 2015-06-30   65.110001   65.110001   65.110001   65.110001   

             amt    volume  
0      418404992  22927500  
1      659624000  46246800  
2       23085800   3853070  
3      131162000  31942000  
4      251946000  19093500  
.... ....
88002  314528000   6933840  
88003  532364992  46215300  
88004  169784992   7503370  
88005          0         0  

[4188006 rows x 8 columns]

我的代码是：

_a_stock_basic_data = pandas.concat(dfs)
_all_universe = set(all_universe.values.tolist())
for _code in _all_universe:
    _temp_data = _a_stock_basic_data[_a_stock_basic_data['Code']==_code]
    data[_code] = _temp_data[_temp_data.notnull()]

_all_universe包含_a_stock_basic_data['Code']。 _all_universe的长度约为2816，for loop的长度为2816，完成此过程需要花费大量时间。

所以，我只是想知道如何使用高性能方法对这些数据进行分组。我认为多处理是一种选择，但我认为共享内存是它的问题。我认为随着数据越来越大，代码的性能需要考虑在内，否则会花费很多。谢谢你的帮助。

Answer 1

我将展示一个我认为可以解决您问题的例子。下面我使用随机元素创建一个数据框，其中列Code将具有重复值

a = pd.DataFrame({'a':np.arange(20), 'b':np.random.random(20), 'Code':np.random.random_integers(0, 10, 20)})

要按列Code进行分组，请将其设置为索引：

a.index = a['Code']

您现在可以使用索引通过Code：

的值访问数据

In : a.ix[8]
Out: 
    a         b  Code
Code                 
8   1  0.589938  8
8   3  0.030435  8
8  13  0.228775  8
8  14  0.329637  8
8  17  0.915402  8

Answer 2

您是否尝试过pd.concat功能？在这里，您可以沿您选择的轴追加数组。

 pd.concat([data,_temp_data],axis=1)

Answer 3

- dict(_a_stock_basic_data.groupby(['Code']).size()) 

## Number of occurences per code

- dict(_a_stock_basic_data.groupby(['Code'])['Column_you_want_to_Aggregate'].sum())  ## If you want to do an aggregation on a certain column

如何尽快将所有数据分组？

3 个答案: