Question

我想使用R（最好是SparkR）离散化变量，以便所需的结果如下所示。

library(arules)

mtcars %>% mutate(bins = discretize(x = mpg, method = "interval", breaks = 4))

我检查了文档，但只能在https://spark.apache.org/docs/2.2.0/ml-features.html#bucketizer上看到非R解决方案。

请告知。

Answer 1

通常，SparkR提供了非常有限的ML函数子集（计划将Spark 3.0作为一个单独的R包SPARK-24359 SPIP: ML Pipelines in R来提供全面支持，尽管可以使用CASE ... WHEN ...来进行这样的简单离散化声明。

首先计算休息时间：

df <- createDataFrame(mtcars)
min_max <- df %>% 
  select(min(df$mpg), max(df$mpg)) %>% 
  collect() %>% 
  unlist() 

n <- 4
breaks <- seq(min_max[[1]], min_max[[2]], length.out = n)

然后生成表达式：

bucket <- purrr::map2(
    breaks[-n], breaks[-1], 
    function(x, y) between(column("mpg"), c(x, y))) %>% 
  purrr::reduce2(
    ., seq(length(.)),
    function(acc, x, y) otherwise(when(x, y), acc), 
    .init = lit(NA))

df %>% withColumn("bucket", bucket)

使用SparkR离散化变量

1 个答案: