Question

我有来自NCDC的气象数据集，每个站每小时观察30到70年。每条记录包括气象站的ID，纬度，经度和海拔。一个站（站点）可以在70年内移动几次，而无需更改站名或ID。我想制作一个不同位置的“车站历史”列表，由纬度，经度和/或高度（纬度，经度，高度）的变化表示。我有R代码可以工作，直到我发现一个站点，经过几次移动返回旧位置。这破坏了我的R代码。

一个站的数据大约有770000行和35列。我正在使用data.table。

带有两个“A”和“B”站的简化示例数据集：

require("data.table")   # ver 1.9.5
DT=data.table(site=c(rep("A",8),rep("B",4)),
                 date=c(seq(from=as.POSIXct("2014-03-01",tz="GMT"), by="day", length.out=8),
                            seq(from=as.POSIXct("2014-07-01",tz="GMT"), by="day", length.out=4)),
                 lat=c(rep(30.1,3),rep(30.2,3),rep(30.1,2),rep(40.3,2),rep(40.4,2)),
                 lon=rep(50.7,12),
                 elev=c(35.0,35,36,36,35,35,35,35,51,52,52,52),
                 x=as.numeric(1:12))   # x is some meteorological data
setkey(DT,site,date)
DT
#    site                date  lat  lon elev  x
#  1:    A 2014-03-01 01:00:00 30.1 50.7   35  1
#  2:    A 2014-03-02 01:00:00 30.1 50.7   35  2
#  3:    A 2014-03-03 01:00:00 30.1 50.7   36  3
#  4:    A 2014-03-04 01:00:00 30.2 50.7   36  4
#  5:    A 2014-03-05 01:00:00 30.2 50.7   35  5
#  6:    A 2014-03-06 01:00:00 30.2 50.7   35  6
#  7:    A 2014-03-07 01:00:00 30.1 50.7   35  7
#  8:    A 2014-03-08 01:00:00 30.1 50.7   35  8
#  9:    B 2014-07-01 02:00:00 40.3 50.7   51  9
# 10:    B 2014-07-02 02:00:00 40.3 50.7   52 10
# 11:    B 2014-07-03 02:00:00 40.4 50.7   52 11
# 12:    B 2014-07-04 02:00:00 40.4 50.7   52 12

每个电台的唯一位置列表如下：

DT.loc <- unique(DT[,.(site,lat,lon,elev)])
DT.loc
#    site  lat  lon elev
# 1:    A 30.1 50.7   35
# 2:    A 30.1 50.7   36
# 3:    A 30.2 50.7   36
# 4:    A 30.2 50.7   35
# 5:    B 40.3 50.7   51
# 6:    B 40.3 50.7   52
# 7:    B 40.4 50.7   52

这将是我需要的大部分内容，但请注意DT第7-8行中“A”站返回第一个位置。

所需的输出是位置列表，其中包含每个观察时段的第一个和最后一个日期。

#    site          date.first           date.last  lat  lon elev
# 1:    A 2014-03-01 01:00:00 2014-03-02 01:00:00 30.1 50.7   35
# 2:    A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7   36
# 3:    A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7   36
# 4:    A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7   35
# 5:    A 2014-03-07 01:00:00 2014-03-08 01:00:00 30.1 50.7   35
# 6:    B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7   51
# 7:    B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7   52
# 8:    B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7   52

我最初使用以下代码生成类似的列表，但它没有确定返回旧位置。

# find first occurence of each location. 
# This requires DT to be keyed on site,lat,lon,elev,date
setkey(DT,site,lat,lon,elev,date)
DT.loc.first <- DT[DT.loc, mult="first", which=TRUE]
# find last occurence of each location
DT.loc.last <- DT[DT.loc, mult="last", which=TRUE]
# get first rows and select columns for history table
DT.hist <- DT[DT.loc.first, .(site,date.first=date,lat,lon,elev)]
# add date from last row for location
DT.hist[, date.last:=DT[DT.loc.last,date]]
# rearrange and sort the history table
DT.hist <- DT.hist[,.(site,date.first,date.last,lat,lon,elev)]
setkey(DT.hist,site,date.first)
DT.hist
#    site          date.first           date.last  lat  lon elev
# 1:    A 2014-03-01 01:00:00 2014-03-08 01:00:00 30.1 50.7   35
# 2:    A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7   36
# 3:    A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7   36
# 4:    A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7   35
# 5:    B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7   51
# 6:    B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7   52
# 7:    B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7   52

第一个位置的date.last实际上是第一个位置的第二个占用的date.last，并且应该有一个单独的行（在第4行之后），因为站“A”实际上有5个观察期

如何创建所需的电台历史记录，并在某个位置的每个连续周期显示第一个和最后一个日期？

Answer 1

Arun对Khashaa回答的优雅回答：

# making use of DT's sort order on site,date:
DT.hist <- DT[, .(date.first=date[1L], date.last=date[.N]),
              by=.(rleid(site,lat,lon,elev),site,lat,lon,elev)]

# select columns and set sort key of result
DT.hist <- DT.hist[,.(date.last,lat,lon,elev),keyby=.(site,date.first)]
DT.hist
#    site          date.first           date.last  lat  lon elev
# 1:    A 2014-03-01 01:00:00 2014-03-02 01:00:00 30.1 50.7   35
# 2:    A 2014-03-03 01:00:00 2014-03-03 01:00:00 30.1 50.7   36
# 3:    A 2014-03-04 01:00:00 2014-03-04 01:00:00 30.2 50.7   36
# 4:    A 2014-03-05 01:00:00 2014-03-06 01:00:00 30.2 50.7   35
# 5:    A 2014-03-07 01:00:00 2014-03-08 01:00:00 30.1 50.7   35
# 6:    B 2014-07-01 02:00:00 2014-07-01 02:00:00 40.3 50.7   51
# 7:    B 2014-07-02 02:00:00 2014-07-02 02:00:00 40.3 50.7   52
# 8:    B 2014-07-03 02:00:00 2014-07-04 02:00:00 40.4 50.7   52

这将创建历史记录表，而无需修改DT或更改DT的密钥。将site，lat，lon，elev添加到by =干净地将这些列添加到输出中，即使它们不更改分组（冗余到rleid）。

或者，没有网站，lat，lon，提升by =：

DT.hist2 <- DT[, .(date.first=date[1L], date.last=date[.N],
               lat=lat[1L], lon=lon[1L], elev=elev[1L]), 
               by=.(rleid(site,lat,lon,elev))]

但这更像是打字，而不是更容易阅读。

如何查找监控位置的开始和结束日期

1 个答案: