Question

了解如何将数据重新采样为小时费率而不是现在的4小时数据块。以下是要求做的事情。

的差异 ENTRIES和EXITS字段包含每周不重置为零的原始计数。我们想知道4小时内有多少个出入口。为了计算这一点，我们需要计算具有相同（UNIT，C / A，SCP）密钥的相邻行之间的差异。创建存储这些数字的NUM_ENTRIES和NUM_EXITS列。

提示：

移位方法很有用。在进行转换时使用groupby会更容易，因为它会尊重子单元之间的边界。 level参数将帮助定义子单元。大多数计数器都计算在内，但也有一些倒数。你应该如何处理这些案件？修复这个以获得额外的信用。

上一个问题的数字存在的一个问题是它们是在不同时间采样的。将ENTRIES和EXITS列重新采样为小时费率并对其进行插值以填充缺失值。使用＆＃34; pchip＆＃34;插值方法因为它会保持单调性。同样，这应该使用groupby在组中完成，但apply函数将允许使用任意插值方法。现在，重新计算第2部分中的NUM_ENTRIES和NUM_EXITS列。提示：使用reset_index清除索引的UNIT，C / A和SCP级别，因为这使得apply函数中使用的resample和interpolate方法更加简单。通过set_index执行插值后添加索引。

这里是我要求重新取样的部分代码

df = pd.read_csv("turnstile_161126.txt")
timestamp =pd.to_datetime(df['DATE'] + ' ' + df['TIME'])
df.insert(3, 'TIMESTAMP', timestamp)
df.columns = df.columns.str.strip()
df = df.set_index(['UNIT','C/A','SCP','TIMESTAMP'])
df['NUM_ENTRIES'] = df.ENTRIES - df.ENTRIES.shift(1)
df['NUM_EXITS'] = df.EXITS - df.EXITS.shift(1)

                STATION LINENAME    DIVISION    DATE    TIME    DESC    ENTRIES EXITS   NUM_ENTRIES NUM_EXITS
UNIT    C/A SCP TIMESTAMP                                       
R051    A002    02-00-00    2016-11-19 03:00:00 59 ST   NQR456W BMT 11/19/2016  03:00:00    REGULAR 5924658 2007780 NaN NaN
2016-11-19 07:00:00 59 ST   NQR456W BMT 11/19/2016  07:00:00    REGULAR 5924672 2007802 14.0    22.0
2016-11-19 11:00:00 59 ST   NQR456W BMT 11/19/2016  11:00:00    REGULAR 5924738 2007908 66.0    106.0
2016-11-19 15:00:00 59 ST   NQR456W BMT 11/19/2016  15:00:00    REGULAR 5924979 2007980 241.0   72.0
2016-11-19 19:00:00 59 ST   NQR456W BMT 11/19/2016  19:00:00    REGULAR 5925389 2008056 410.0   76.0
2016-11-19 23:00:00 59 ST   NQR456W BMT 11/19/2016  23:00:00    REGULAR 5925614 2008081 225.0   25.0
2016-11-20 03:00:00 59 ST   NQR456W BMT 11/20/2016  03:00:00    REGULAR 5925684 2008096 70.0    15.0
2016-11-20 07:00:00 59 ST   NQR456W BMT 11/20/2016  07:00:00    REGULAR 5925688 2008113 4.0 17.0
2016-11-20 11:00:00 59 ST   NQR456W BMT 11/20/2016  11:00:00    REGULAR 5925755 2008191 67.0    78.0
2016-11-20 15:00:00 59 ST   NQR456W BMT 11/20/2016  15:00:00    REGULAR 5925937 2008260 182.0   69.0
2016-11-20 19:00:00 59 ST   NQR456W BMT 11/20/2016  19:00:00    REGULAR 5926232 2008332 295.0   72.0
2016-11-20 23:00:00 59 ST   NQR456W BMT 11/20/2016  23:00:00    REGULAR 5926394 2008367 162.0   35.0
2016-11-21 03:00:00 59 ST   NQR456W BMT 11/21/2016  03:00:00    REGULAR 5926425 2008378 31.0    11.0
2016-11-21 07:00:00 59 ST   NQR456W BMT 11/21/2016  07:00:00    REGULAR 5926440 2008420 15.0    42.0
2016-11-21 11:00:00 59 ST   NQR456W BMT 11/21/2016  11:00:00    REGULAR 5926622 2008741 182.0   321.0
2016-11-21 15:00:00 59 ST   NQR456W BMT 11/21/2016  15:00:00    REGULAR 5926872 2008851 250.0   110.0
2016-11-21 19:00:00 59 ST   NQR456W BMT 11/21/2016  19:00:00    REGULAR 5927775 2008927 903.0   76.0

https://i.stack.imgur.com/M0595.png

full data set

Answer 1

更新的答案：

import pandas as pd
import random
from random import randint
from dateutil.relativedelta import relativedelta
import datetime

start = datetime.datetime(2016,1,1)
r = range(0,2000)
units = ['UnitA','UnitB','UnitC']
CA = ['A002','B002','C002']
CSP = ['02-00-00','03-00-00','04-00-00']

DF = pd.DataFrame()

# create dummy dataframe    
for unit in units:

    date = [start + relativedelta(hours=4*i) for i in r]
    Entries = [random.uniform(5000000, 6000000) for i in r]
    Exits = [random.uniform(1000000, 2000000) for i in r]

    df = pd.DataFrame(data={
            'date': date,
            'unit': unit,
            'Entries': Entries,
            'Exits': Exits,
            'CA': CA[randint(0,2)],
            'CSP': CSP[randint(0,2)],
        })

    DF = pd.concat([DF,df])

# set index based upon desired groupby PLUS date column
DF.set_index(keys=['unit','CA','CSP','date'], inplace=True)

# show results
print DF[['Entries','Exits']].unstack(['unit','CA','CSP']).resample('1H').interpolate(method='pchip')      # <--if desired, add .unstack() at end to re-arrange DF

产生

docs

重新采样和插值

1 个答案: