R - 根据另一列中的指示符从数据框中提取多行

时间:2018-02-13 16:44:36

标签: r dataframe row indicator

我有一个问题是根据指标

从R中的data.frame中提取多个值

我有一个看起来像这样的数据框(df)

 ROW        COMPANY       PRICE      DATE          EVENT
  1         APPLE         1.50       Jan02           0
  2         APPLE         1.70       Feb02           1
  3         APPLE         1.65       Mar02           0
  4         APPLE         1.20       Apr02           0
  5         APPLE         1.30       May02           0
  6         APPLE         1.14       Jun02           0
  7         APPLE         1.10       Jul02           0
     .         .           .           .             .
     .         .           .           .             .
  349.997   MICROSOFT     0.80       Sep16           0
  349.998   MICROSOFT     0.65       Oct16           0
  349.999   MICROSOFT     1.10       Nov16           1
  350.000   MICROSOFT     0.90       Dez16           0

正如您所看到的,我有一个大型数据框架,其中包含各个公司在给定日期的股票价格。另外,我有一个事件列(只有0和1作为值)。值1表示在给定日期发生了特定事件(例如股东会议)。在350.000行中,我有2.500个事件(这意味着Column事件有2.500个事件和347.500个零)。

现在我的目标是分析特定事件周围的股票价格(例如,分析事件发生前10个月和之后15个月的股票价格)。现在我如何继续前进,我目前陷入困境。

首先,我必须根据我的公司分割我的data.frame,因为如果我在我的obervation期间(2002-2016)之外我需要获得NAs。例如如果苹果在nov16有一个事件,我需要在2个月后得到价格,我应该得到一个NA(因为它超出了我的观察期),但是在未开发的数据框架中,我会得到下一个的价格公司从2002年1月开始。

list<-split(df, f=df$COMPANY)

现在是我被卡住的部分。我需要在每个公司的活动日之后提取之前的10个价格和15个价格

我想要创建的输出看起来像(注意:&#34;?&#34; =这些值存在,但它们未在上面的示例df中显示)

     Event 1 (Apple)              Event 2500   (Microsoft)
-10      NA               ...         ?
 -9      NA               ...         ?
  .      .
  0     1.70              ...        1.10
  .      .
+15      ?                ...         NA

很抱歉,如果不详细解释我的问题就很难解释,但我希望我能在某种程度上明确这一点。

感谢您的帮助:)

2 个答案:

答案 0 :(得分:1)

这可以通过dplyrtidyr包来完成,尽管它有点涉及。以下是关于小得多的数据集的要点:

library(dplyr)
library(tidyr)
df <- readr::read_csv("COMPANY,PRICE,DATE,EVENT
APPLE,1.50,2002/01/01,0
APPLE,1.70,2002/02/01,1
APPLE,1.65,2002/03/01,0
APPLE,1.20,2002/04/01,0
MICROSOFT,2.50,2002/01/01,0
MICROSOFT,2.70,2002/02/01,0
MICROSOFT,2.65,2002/02/01,1
MICROSOFT,2.20,2002/03/01,0")
df
# A tibble: 8 x 4
COMPANY PRICE       DATE EVENT
<chr> <dbl>     <date> <int>
1     APPLE  1.50 2002-01-01     0
2     APPLE  1.70 2002-02-01     1
3     APPLE  1.65 2002-03-01     0
4     APPLE  1.20 2002-04-01     0
5 MICROSOFT  2.50 2002-01-01     0
6 MICROSOFT  2.70 2002-02-01     0
7 MICROSOFT  2.65 2002-02-01     1
8 MICROSOFT  2.20 2002-03-01     0

首先,我们需要构建一些滞后和线索。如果您想要更多的前/后活动日,则必须在此处添加更多列。

with_lags <- df %>% 
  group_by(COMPANY) %>% 
  mutate(
    lag_01    = lag(PRICE,  n = 1, order_by = DATE)
    , lag_02  = lag(PRICE,  n = 2, order_by = DATE)
    , lag_00  = lag(PRICE,  n = 0, order_by = DATE)
    , lead_01 = lead(PRICE, n = 1, order_by = DATE)
    , lead_02 = lead(PRICE, n = 2, order_by = DATE)
  )
with_lags
# A tibble: 8 x 9
# Groups:   COMPANY [2]
COMPANY PRICE       DATE EVENT lag_01 lag_02 lag_00 lead_01 lead_02
<chr> <dbl>     <date> <int>  <dbl>  <dbl>  <dbl>   <dbl>   <dbl>
1     APPLE  1.50 2002-01-01     0     NA     NA   1.50    1.70    1.65
2     APPLE  1.70 2002-02-01     1   1.50     NA   1.70    1.65    1.20
3     APPLE  1.65 2002-03-01     0   1.70    1.5   1.65    1.20      NA
4     APPLE  1.20 2002-04-01     0   1.65    1.7   1.20      NA      NA
5 MICROSOFT  2.50 2002-01-01     0     NA     NA   2.50    2.70    2.65
6 MICROSOFT  2.70 2002-02-01     0   2.50     NA   2.70    2.65    2.20
7 MICROSOFT  2.65 2002-02-01     1   2.70    2.5   2.65    2.20      NA
8 MICROSOFT  2.20 2002-03-01     0   2.65    2.7   2.20      NA      NA

现在我们只保留EVENT为1的行,然后将数据重新洗回长格式。请注意,您必须编辑调用gather()函数的行,以反映您在上面构建的滞后/潜在客户列的列表:

long_form <- with_lags %>%
  filter(EVENT == 1) %>% 
  select(-PRICE, -EVENT, -DATE) %>% 
  gather(period, price, lag_01:lead_02) %>% 
  separate(period, c("lag_or_lead", "lag_order")) %>% 
  mutate(
    lag_order = ifelse(lag_or_lead == "lag", 
                       -1 * as.numeric(lag_order),
                       as.numeric(lag_order)) 
  ) %>% 
  select(-lag_or_lead) %>% 
  arrange(COMPANY, lag_order)
long_form
# A tibble: 10 x 3
# Groups:   COMPANY [2]
COMPANY lag_order price
<chr>     <dbl> <dbl>
1      APPLE        -2    NA
2      APPLE        -1  1.50
3      APPLE         0  1.70
4      APPLE         1  1.65
5      APPLE         2  1.20
6  MICROSOFT        -2  2.50
7  MICROSOFT        -1  2.70
8  MICROSOFT         0  2.65
9  MICROSOFT         1  2.20
10 MICROSOFT         2    NA

如果您需要广泛使用此格式,则可以使用spread()包中的tidyr将公司转移到列中。

答案 1 :(得分:1)

我可能会因为建议(震惊恐怖)在基础R中执行此操作而被击落,但恕我直言的代码很容易理解和编辑,这通常是更简洁但不易理解的编程的首选。只有2500个事件,我认为它应该足够快。如果您能将解决方案的速度与实际数据进行比较,那将会很有趣吗?

$ bq query --use_legacy_sql=false "SELECT x FROM UNNEST([1, 2, 3]) AS x;"
Waiting on <job id> ... (0s) Current status: DONE   
+---+
| x |
+---+
| 1 |
| 2 |
| 3 |
+---+
$ bq query -n=0 --use_legacy_sql=false "SELECT x FROM UNNEST([1, 2, 3]) AS x;"
Waiting on <job id> ... (0s) Current status: DONE