熊猫-如何获取另一列中每个对应值的行发生次数

时间:2019-02-23 16:06:51

标签: python pandas datetime

我有一个非常复杂的问题,需要我弄清楚。

首先,我有一个数据框:

 one       two     three     four      Date
comedy      a       asad      123      2013-01-18 10:00:00  
romantic    b       fas       563      2015-01-28 12:00:00
comedy      c       ewf       134      2014-01-22 09:00:00
action      a       qef       561      2013-02-18 18:00:00
action      z       adwq      1323     2016-01-23 16:00:00
...

我正在尝试找到最佳方法来对数据列中每周的“一个”列中每个唯一值的出现次数(频率)进行计数。然后,我希望能够以某种方式比较每周中每次出现的频率更高,导致“四”列的数字更高或更低。

我想要的输出是这样的,但是我愿意寻求更好的解决方案:

 ones       2013-01-00  2013-01-07  2013-01-14.....    Total_frequency
 comedy         4          5           6                15
 romantic       1          2           0                3 
 action         0          0           0                0 
 ....

“ one”列中的每个唯一值都在“ ones”下,并且其每周发生的总数在“ weeks”列下。 (星期列将从指定的星期开始(例如,在上述情况下-> 2013-01-00)。

尽管如此,我很难想出将整个频率与整个数据帧中的第四列相关联的最佳方法。

如果有人对我可以做到的最佳方式有任何想法,将不胜感激。

如果您需要更多信息,请告诉我。

编辑:

  ones       2013-01-00  2013-01-07  2013-01-14.....    Total_frequency
 comedy         4          5           6                15
 romantic       1          2           0                3 
 action       NaN          1           0                1 

谢谢。

2 个答案:

答案 0 :(得分:2)

使用:

#changed data sample for better verify output
print (df)
        one two three  four                 Date
0    comedy   a  asad   123  2013-01-18 10:00:00
1  romantic   b   fas   563  2013-01-28 12:00:00
2    comedy   c   ewf   134  2013-01-22 09:00:00
3    action   a   qef   561  2013-02-18 18:00:00
4    action   z  adwq  1323  2013-01-23 16:00:00

GrouperDataFrameGroupBy.sizeunstack结合使用:

df['Date'] = pd.to_datetime(df['Date'])
df = (df.groupby(['one',pd.Grouper(freq='W-MON', key='Date')])
        .size()
        .unstack(fill_value=0)
        .sort_index(axis=1))

df.columns = df.columns.date
df['Total_frequency'] = df.sum(axis=1)
print (df)
          2013-01-21  2013-01-28  2013-02-18  Total_frequency
one                                                          
action             0           1           1                2
comedy             1           1           0                2
romantic           0           1           0                1

编辑:为前NaN之后的值创建布尔掩码,并仅用此掩码替换缺少的值:

print (df)
          2013-01-00  2013-01-07  2013-01-14
ones                                        
comedy           4.0           5         6.0
romantic         1.0           2         NaN
action           NaN           1         NaN

mask = df.notnull().cumsum(axis=1).ne(0)
#another solution
#mask = df.ffill(axis=1).notnull()

df = df.mask(mask, df.fillna(0))
print (df)
          2013-01-00  2013-01-07  2013-01-14
ones                                        
comedy           4.0           5         6.0
romantic         1.0           2         0.0
action           NaN           1         0.0

答案 1 :(得分:1)

您可以尝试以下方法:

df = pd.DataFrame({'one': [random.choice(['comedy', 'action', 'romantic']) for i in range(1000)],
                  'Date': pd.date_range(start = '2013-01-01', periods = 1000)})
df.head()

      one        Date
0   romantic    2013-01-01
1   romantic    2013-01-02
2   romantic    2013-01-03
3   action       2013-01-04
4   romantic    2013-01-05

df.groupby([pd.Grouper(key = 'Date', freq = 'W'), 'one'])['one'].count().unstack(level = 0)

Date          2013-01-06  2013-01-13  2013-01-20.....
one           
comedy         2         2           2              
romantic       NaN       2           2               
action         4         3           3