Question

我正在探索SparkR来计算CSV文件（位于S3中）中数字列的分位数。我能够解析CSV文件并打印文档并访问该列。但不确定如何生成分位数。任何帮助将不胜感激。

PS：R具有内置函数来计算内置数据帧中的分位数（而不是SparkR数据帧）。

Answer 1

如果您对不使用SparkR的Spark + R答案持开放态度，则可以将dplyr与dplyr.spark.hive后端一起使用。

mtcars_db  %>% mutate(q = quantile(mpg, .3))
Source: Spark at:localhost:10000
From: <derived table> [?? x 12]

     mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb     q
   (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl) (dbl)
1   21.0     6 160.0   110  3.90 2.620 16.46     0     1     4     4 15.68
2   21.0     6 160.0   110  3.90 2.875 17.02     0     1     4     4 15.68
3   22.8     4 108.0    93  3.85 2.320 18.61     1     1     4     1 15.68
4   21.4     6 258.0   110  3.08 3.215 19.44     1     0     3     1 15.68
5   18.7     8 360.0   175  3.15 3.440 17.02     0     0     3     2 15.68
6   18.1     6 225.0   105  2.76 3.460 20.22     1     0     3     1 15.68
7   14.3     8 360.0   245  3.21 3.570 15.84     0     0     3     4 15.68
8   24.4     4 146.7    62  3.69 3.190 20.00     1     0     4     2 15.68
9   22.8     4 140.8    95  3.92 3.150 22.90     1     0     4     2 15.68
10  19.2     6 167.6   123  3.92 3.440 18.30     1     0     4     4 15.68
..   ...   ...   ...   ...   ...   ...   ...   ...   ...   ...   ...   ...

其中mtcars_db是由spark sql表支持的tbl

Answer 2

Spark 2.x附带一个aboutQuantile功能。如果将relativeError设置为零，它将为您提供精确的分位数。

> sdf <- SparkR::createDataFrame(mtcars)
> quantiles <- approxQuantile(sdf, "mpg", c(0.5, 0.8), relativeError = 0.0)
> quantiles
[[1]]
[1] 19.2

[[2]]
[1] 26

此处有更多详情： http://spark.apache.org/docs/latest/api/R/approxQuantile.html

SparkR - 从数据帧列生成分位数（数值类型）

2 个答案: