在矢量中生成随机长度NA的随机序列

时间:2017-06-16 13:23:17

标签: r vector random missing-data seq

我想在向量中生成缺失值,以便将缺失值按顺序分组,以模拟不同长度的缺失数据的周期。

假设我有一个10 000个值的向量,我想在向量中的随机位置生成12个NA序列,每个序列的随机长度L在1到144之间(144个模拟2天的在时间步长10分钟缺少值)。序列必须不重叠

我该怎么做?感谢。

我尝试合并lapplyseq但没有成功。

具有3个不同序列的预期输出示例:

# 1 2 3 5 2 NA NA 5 4 6 8 9 10 11 NA NA NA NA NA NA 5 2 NA NA NA...

修改

我正在处理季节性时间序列,因此NA必须覆盖值并且不能插入作为新元素。

7 个答案:

答案 0 :(得分:6)

如果每个NA序列的起始位置和游程长度都应该是随机的,我认为你不能确定立即找到一个合适的解决方案,因为你的约束是序列不能重叠。

因此,我提出以下解决方案,其尝试有限次数(max_iter)以找到起始位置和NA运行长度的拟合组合。如果找到一个,则返回,如果在定义的最大迭代次数内没有找到,则只返回通知。

x = 1:1000
n = 3
m = 1:144

f <- function(x, n, m, max_iter = 100) {
  i = 0
  repeat {
    i = i+1
    idx <- sort(sample(seq_along(x), n))        # starting positions
    dist <- diff(c(idx, length(x)))             # check distance inbetween 
    na_len <- sample(m, n, replace = TRUE) - 1L # lengths of NA-runs
    ok <- all(na_len < dist)                    # check overlap
    if(ok | i == max_iter) break 
  }

  if(ok) {
    replace(x, unlist(Map(":", idx, idx+na_len)), NA)
  } else {
      cat("no solution found in", max_iter, "iterations")
    }
}

f(x, n, m, max_iter = 20)

当然,您可以轻松增加迭代次数,您应该注意到,n越大,找到解决方案越困难(需要更多迭代)。

答案 1 :(得分:5)

所有其他答案或多或少都遵循“条件规范”,其中模拟了NA块的起始索引和运行长度。然而,由于必须满足非重叠条件,因此必须逐个确定这些块。这种依赖性禁止矢量化,必须使用for循环或lapply / sapply

但是,这个问题只是另一个运行长度问题。 12个不重叠的NA块将整个序列划分为13个非丢失的块(是的,我猜这是OP想要的,因为丢失的块发生在第一个块或最后一个块不感兴趣)。那么为什么不考虑以下几点:

  • 生成12个丢失块的运行长度;
  • 生成13个非缺失块的运行长度;
  • 交错这两种类型的块。

第二步看起来很困难,因为它必须满足所有块的长度总和达到固定数量。那么,多项分布就是为了这个。

所以这是一个完全矢量化的解决方案:

# run length of 12 missing chunks, with feasible length between 1 and 144
k <- sample.int(144, 12, TRUE)

# run length of 13 non-missing chunks, summing up to `10000 - sum(k)`
# equal probability is used as an example, you may try something else
m <- c(rmultinom(1, 10000 - sum(k), prob = rep.int(1, 13)))

# interleave `m` and `k`
n <- c(rbind(m[1:12], k), m[13])

# reference value: 1 for non-missing and NA for missing, and interleave them
ref <- c(rep.int(c(1, NA), 12), 1)

# an initial vector
vec <- rep.int(ref, n)

# missing index
miss <- is.na(vec)

我们可以验证sum(n)是否为10000.接下来是什么?可以随意用随机整数填写非缺失条目吗?

我的初步答案可能太短,无法遵循,因此采取了上述扩展。

使用用户输入编写实现上述功能的函数,直接代替示例参数值12,144,10000。

注意,多项式的唯一潜在问题是,在某些不良prob下,它可能会生成一些零。因此,一些NA块实际上会连接在一起。为了解决这个问题,一个强有力的检查是这样的:将所有0替换为1,并从max(m)中减去这种变化的膨胀。

答案 2 :(得分:5)

编辑:只是为了好玩,这是我的解决方案下面更短的递归版本

add_nas <- function(v,n_seq = 12,min_l_seq = 1,max_l_seq = 144){
  insert_length  <- sample(min_l_seq:max_l_seq,1)
  insert_pos     <- sample(length(v)-insert_length,1)
  v <- v[-(insert_pos+(1:insert_length)-1)]
  if(n_seq > 1){v <- add_nas(v,n_seq-1,min_l_seq,max_l_seq)}
  append(v,rep(NA,insert_length),insert_pos-1)
}

旧答案:

# we build a vextor of 20 values
v <- sample(1:100,20,replace=TRUE) # your vector
# your parameters
n_seq <- 3     # you put 12 here
min_l_seq <- 1 #
max_l_seq <- 5 # you put 144 here

# first we will delete items, then we add NAs where we deleted instead
insert_lengths <- sample(min_l_seq:max_l_seq,n_seq,replace=TRUE)
lengths_before_deletion <- length(v)- c(0,insert_lengths[-length(insert_lengths)])
insert_pos <- sapply(lengths_before_deletion-insert_lengths+1,function(x){sample(1:x,1)})

v2 <- v
print(v)
for (i in 1:n_seq){
  v2 <- v2[-(insert_pos[i]:(insert_pos[i]+insert_lengths[i]-1))]
  print(v2)
}

for (i in n_seq:1){
  v2 <- c(v2[1:(insert_pos[i]-1)],rep(NA,insert_lengths[i]),v2[insert_pos[i]:length(v2)])
  print(v2)
}

这是日志

> print(v)
 [1] 75 11  4 19 55 20 65 48 85 20 61 16 75 31 50 10 30 61  4 32
> for (i in 1:n_seq){
+   v2 <- v2[-(insert_pos[i]:(insert_pos[i]+insert_lengths[i]-1))]
+   print(v2)
+ }
 [1] 75 11 55 20 65 48 85 20 61 16 75 31 50 10 30 61  4 32
 [1] 75 11 55 20 65 48 85 20 61 16 75 50 10 30 61  4 32
 [1] 75 11 55 20 65 48 85 20 61 16 75 50 10 30 32
> 
> for (i in n_seq:1){
+   v2 <- c(v2[1:(insert_pos[i]-1)],rep(NA,insert_lengths[i]),v2[insert_pos[i]:length(v2)])
+   print(v2)
+ }
 [1] 75 11 55 20 65 48 85 20 61 16 75 50 10 30 NA NA 32
 [1] 75 11 55 20 65 48 85 20 61 16 75 NA 50 10 30 NA NA 32
 [1] 75 11 NA NA 55 20 65 48 85 20 61 16 75 NA 50 10 30 NA NA 32

答案 3 :(得分:3)

以下是我的修订版:

while(1){
  na_span_vec <- sample((10000-143), 12) %>% sort 
  if(min(na_span_vec - lag(na_span_vec), na.rm = T) > 144) break
}
na_idx <- na_span_vec %>% as.list %>% 
  lapply(function(x) seq(x, x + sample(143, 1))) %>% unlist
original_vec[na_idx] <- NA

答案 4 :(得分:3)

您可以使用此功能:

genVecLength<-function(vec,namin,namax,nanumber) {
    nalengths<-sample(namin:namax,nanumber,replace=TRUE)
    vec[sort(sample(nanumber*2+1,length(vec),replace=TRUE))%%2==0]<-NA
    vec
}

其中vec是您的原始向量,naminnamaxNA序列的最小和最大长度,nanumber是序列数

一个例子:

set.seed(1)
genVecLength(1:30,namin=1,namax=5,nanumber=3)
#[1]  1  2  3 NA NA NA NA NA  9 10 11 12 13 NA NA NA 17 18 19 20 21 NA NA NA 25
#[26] 26 27 28 29 30

对于您的示例,如果vec<-runif(10000),您可以尝试:

genVecLength(vec,1,144,12)

答案 5 :(得分:2)

这是一个简单的想法。随机地将非na部分切成13个部分(某个部分可能有0个长度,它可以,因为我们可以在每个11个NA序列的末尾保留一个非na位置),并插入生成的12个NA序列他们。因此,在长度为10000的向量中没有重叠的12 NA seq意味着存在10000 - sum(length(NA.seq)) - 11非na位置(11是11个NA序列末尾的保留的非na位置。

orig.seq = 1:10000
na.len = sapply(1:12, function(x) sample(1:144, 1)) # na sequence length
na.len[1:11] = na.len[1:11] + 1 #reserve one non-na position for first 11 NA seq
avail.space = 10000 - sum(na.len) # number of non-na position to cut (sum(na.len) includes the reserved one non-na position)
avail.space.loc = sample(0:avail.space, 12) %>% sort # find 12 cut point to split it into 13 piece
end = avail.space.loc + cumsum(na.len)
start = end - na.len
for (i in 1:12) {
    if (i != 12) {
        orig.seq[start[i]:end[i]-1] <- NA # recover the reserved non-na position
    } else orig.seq[start[i]:end[i]] <- NA
}

答案 6 :(得分:1)

 #just a vector of 10000 values (uniform distribution)
 initVec <- runif(10000)

 #12 sequences of NA's with length 1:144 (randomly picked)
 naVecList<-lapply(sample(c(1:144),12,replace = T),function(x) rep(NA,x))

 #random positions (along the whole length of initVec)
 (randomPositions<-sort(unlist(lapply(seq_along(1:length(naVecList)), function(x) sample(c(1:(length(initVec)-144)),x,replace = T)[1]))))#added safenet


 #insert the NA elements at random places.
  for(i in 1:length(randomPositions))
    initVec[randomPositions[i]:(randomPositions[i]+length(naVecList[[i]]))]<-naVecList[[i]]