从具有列输入的函数分配data.table列

时间:2016-10-21 00:30:34

标签: r data.table

我有一个包含几列的数据表,我用它作为我创建的手机验证功能的输入。

library(data.table)
dt <- data.table(ID = c(1:6),
                 phone = c("0412 345 789","0438 123 456",
                           "041 2345 543", "(02) 1234 5678",
                           "9876 1234", "04123456789"),
                 state = c("NSW","QLD","SA"),
                 country = c("AU"),
                 phone_countries = c("AU","AU","AU","AU,US","AU,US","AU,US"))

#    ID          phone state country phone_countries
# 1:  1   0412 345 789   NSW      AU              AU
# 2:  2   0438 123 456   QLD      AU              AU
# 3:  3   041 2345 543    SA      AU              AU
# 4:  4 (02) 1234 5678   NSW      AU           AU,US
# 5:  5      9876 1234   QLD      AU           AU,US
# 6:  6    04123456789    SA      AU           AU,US

函数isValidPhone看起来像这样(它用于验证几个不同位置的电话号码。为简洁起见,我省略了一些正则表达式。)

isValidPhone <- function(phone, state, country, validation_countries) {

  if (!(country %in% unlist(strsplit(validation_countries, ","))))
    return(FALSE)

  # remove whitespace, hyphens and brackets
  phone_clean <- gsub("[[:space:]]|-|\\.|\\(|\\)", "", phone)

  if (is.na(phone_clean) | phone_clean == '' | is.na(iconv(phone_clean, "", "ASCII")))
    return(FALSE)

  if (country == "AU") {
    # append state area code if length is 8 digits
  #print(paste("phone:", phone_clean, "state:", state))
    if (nchar(phone_clean, "width") == 8)
      if (state %in% c('ACT', 'NSW', 'QLD', 'VIC', 'TAS', 'SA', 'NT', 'WA'))
      phone_clean <- switch (state,
        'ACT' = paste0("02",phone_clean),
        'NSW' = paste0("02",phone_clean),
        'QLD' = paste0("07",phone_clean),
        'VIC' = paste0("03",phone_clean),
        'TAS' = paste0("03",phone_clean),
        'SA' = paste0("08",phone_clean),
        'NT' = paste0("08",phone_clean),
        'WA' = paste0("08",phone_clean))

    if (nchar(phone_clean, "width") == 9)
      if(substr(phone_clean,1,1) %in% c(2:4,7,8))
        phone_clean <- paste0("0", phone_clean)

    return(grepl("^(?:\\+?61|0)[23478](?:[ -]?[0-9]){8}$",
                 as.character(phone_clean), ignore.case=TRUE))
  }
}

我在data.table dt中分配了一个名为validphone

的字段
dt[, validphone := isValidPhone(phone, state, country, phone_countries), by = 1:nrow(dt)]

#    ID          phone state country phone_countries validphone
# 1:  1   0412 345 789   NSW      AU              AU       TRUE
# 2:  2   0438 123 456   QLD      AU              AU       TRUE
# 3:  3   041 2345 543    SA      AU              AU       TRUE
# 4:  4 (02) 1234 5678   NSW      AU           AU,US       TRUE
# 5:  5      9876 1234   QLD      AU           AU,US       TRUE
# 6:  6    04123456789    SA      AU           AU,US      FALSE

不幸的是,我必须使用by = 1:nrow(dt)当前的形式,好像我不这样做,它将完整的列数据传递到导致问题的参数中。这导致我的真实数据集(~300K)上的大量函数调用和性能不佳。

我确实读过使用矢量化函数会更好,但是我不清楚我是如何做到的。

有没有更有效的方法来实现我想要的结果?

1 个答案:

答案 0 :(得分:0)

需要进行一些重新设计才能在向量上使用您的函数:

主要通过在过滤的行上分配if(...) return(FALSE)来替换FALSE,并按相反的顺序对其进行评估(最后一个单词为第一个return =&gt;最后一个单词为最后一个分配)

switch也需要替换为ifelse

你最终得到这样的东西:

isValidPhone <- function(phone, state, country, validation_countries) {
  phone_clean <- gsub("[[:space:]]|-|\\.|\\(|\\)", "", phone)

  AddArea <- country == "AU" & nchar(phone_clean) == 8 & 
    state %in% c('ACT', 'NSW', 'QLD', 'VIC', 'TAS', 'SA', 'NT', 'WA')
  phone_clean[AddArea] <- ifelse(state[AddArea]%in%c('ACT','NSW'),
                                 paste0("02",phone_clean[AddArea]),
                                 ifelse(state[AddArea]%in%c('VIC','TAS'),
                                        paste0("03",phone_clean[AddArea]),
                                        ifelse(state[AddArea]%in%c('SA','NT', 'WA'),
                                               paste0("08",phone_clean[AddArea]),
                                               paste0("02",phone_clean[AddArea]))))

  AddZero <- nchar(phone_clean) == 9 & substr(phone_clean,1,1) %in% c(2:4,7,8)
  phone_clean[AddZero] <- paste0("0", phone_clean[AddZero])

  ans <- grepl("^(?:\\+?61|0)[23478](?:[ -]?[0-9]){8}$",
                       as.character(phone_clean), ignore.case=TRUE)

  ans[(!(country %in% unlist(strsplit(validation_countries, ",")))) |
      is.na(phone_clean) | phone_clean == '' | 
      is.na(iconv(phone_clean, "", "ASCII"))] <- FALSE
  return(ans)
}