Question

使用sdf_pivot后，我留下了大量的NaN值，所以为了继续我的分析，我需要用0替换NaN，我试过用这个：

data <- data %>% 
  spark_apply(function(e) ifelse(is.nan(e),0,e))

这会产生以下错误：

Error in file(con, "r") : cannot open the connection
In addition: Warning message:
In file(con, "r") :
  cannot open file 
'C:\.........\file18dc5a1c212e_spark.log':Permission denied

我正在使用Spark 2.2.0和最新版本的sparklyr

有没有人知道如何解决这个问题？谢谢

Answer 1

这里似乎有两个不同的问题。

权限问题。确保您具有所需权限，并在必要时正确使用winutils。
NULL替换。

后者可以使用内置函数解决，并且不需要低效spark_apply：

df <- copy_to(sc, 
  data.frame(id=c(1, 1, 2, 3), key=c("a", "b", "a", "d"), value=1:4))

pivoted <- sdf_pivot(df, id ~ key)
pivoted

# Source:   table<sparklyr_tmp_f0550e429aa> [?? x 4]
# Database: spark_connection
     id     a     b     d
  <dbl> <dbl> <dbl> <dbl>
1     1     1     1   NaN
2     3   NaN   NaN     1
3     2     1   NaN   NaN

pivoted %>% na.replace(0)

# Source:   table<sparklyr_tmp_f0577e16bf1> [?? x 4]
# Database: spark_connection
     id     a     b     d
  <dbl> <dbl> <dbl> <dbl>
1     1     1     1     0
2     3     0     0     1
3     2     1     0     0

使用sparklyr 0.7.0-9105进行测试。

如何使用spark_apply来改变NaN值？

1 个答案: