is.na和分位数与sparklyr

Question

我正在使用sparklyr，它似乎运作良好。但是，我之前的一些代码将无法实现。

何时使用

complete.cases

我得到了

  

错误：org.apache.spark.sql.AnalysisException：未定义的函数   COMPLETE.CASES

我得到了quantile函数

的相同结果

此外，似乎在Spark数据帧中is.na的计算方式不同。所以当我做的时候

filter(!is.na(V1) & is.na(V2))

我得到一个空的数据框，而不是返回V1中已填满的所有字段，并在V2中为空。

有关sparklyr如何使用/修改这些函数的建议，或者如何构造这些函数的包装器？

Answer 1

您可以使用na.omit，如下所示：

sc <- spark_connect(master = "local")
tbl_flights <- copy_to(sc, flights)

tbl_flights %>% na.omit