Question

我有一个pandas数据框，其中包含用户研究期间参与者操纵的每个对象的行。每个参与者参与该研究3次，每次3个条件中的一个（a，b，c），在每种情况下使用大约300-700个对象。

当我报告使用的对象数量时，我希望确保这不会因条件而有很大差异（我不希望它已经完成，但需要在统计上进行确认）。

我想我想运行一个ANOVA来比较3个条件，但我无法弄清楚如何获得ANOVA所需的数据。

我目前有一些pandas代码来分组数据并计算每个参与者每个条件的行数（因此我可以使用mean（）和类似的来汇总数据）。下面是一个包含数据子集的示例：

>>> tmp = df.groupby([FIELD_PARTICIPANT, FIELD_CONDITION]).size()
>>> tmp
participant_id  condition
1               a            576
2               b            367
3               a            703
4               c            309
dtype: int64

要计算ANOVA，我通常只需通过条件列过滤它们，例如

cond1 = tmp[tmp[FIELD_CONDITION] == CONDITION_A] 
cond2 = tmp[tmp[FIELD_CONDITION] == CONDITION_B] 
cond3 = tmp[tmp[FIELD_CONDITION] == CONDITION_C]
f_val, p_val = scipy.stats.f_oneway(cond1, cond2, cond3)

但是，由于tmp是Series而不是我习惯的DataFrame，我无法弄清楚如何以正常方式实现这一目标。

>>> tmp[FIELD_CONDITION]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Python/2.7/site-packages/pandas/core/series.py", line 583, in __getitem__
    result = self.index.get_value(self, key)
  File "/Library/Python/2.7/site-packages/pandas/indexes/multi.py", line 626, in get_value
    raise e1
KeyError: 'condition'
>>> type(tmp)
<class 'pandas.core.series.Series'>
>>> tmp.index
MultiIndex(levels=[[u'1', u'2', u'3', u'4'], [u'd', u's']],
           labels=[[0, 1, 2, 3], [0, 0, 0, 1]],
           names=[u'participant_id', u'condition'])

我确信这是一个直截了当的问题需要解决，但如果没有一些帮助我似乎无法到达那里:)

Answer 1

我认为您需要reset_index，然后输出为DataFrame：

tmp = df.groupby([FIELD_PARTICIPANT, FIELD_CONDITION]).size().reset_index(name='count')

样品：

import pandas as pd

df = pd.DataFrame({'participant_id': {0: 1, 1: 1, 2: 1, 3: 1, 4: 2, 5: 2, 6: 2, 7: 3, 8: 4, 9: 4},
                   'condition': {0: 'a', 1: 'a', 2: 'a', 3: 'a', 4: 'b', 5: 'b', 6: 'b', 7: 'a', 8: 'c', 9: 'c'}})
print (df)
  condition  participant_id
0         a               1
1         a               1
2         a               1
3         a               1
4         b               2
5         b               2
6         b               2
7         a               3
8         c               4
9         c               4

tmp = df.groupby(['participant_id', 'condition']).size().reset_index(name='count')
print (tmp)
   participant_id condition  count
0               1         a      4
1               2         b      3
2               3         a      1
3               4         c      2

如果需要使用Series，您可以使用条件，get_level_values选择condition级Multiindex的值：

tmp = df.groupby(['participant_id', 'condition']).size()
print (tmp)
participant_id  condition
1               a            4
2               b            3
3               a            1
4               c            2
dtype: int64

print (tmp.index.get_level_values('condition'))
Index(['a', 'b', 'a', 'c'], dtype='object', name='condition')

print (tmp.index.get_level_values('condition') == 'a')
[ True False  True False]

print (tmp[tmp.index.get_level_values('condition') == 'a'])
participant_id  condition
1               a            4
3               a            1
dtype: int64

使用groupby和groupby.size（）的输出

1 个答案: