Question

我在分布式文件系统中的许多.csv文件中存储了1亿行。我使用spark_read_csv（）来加载数据而没有问题。我的许多列都存储为字符逻辑值："true"，"false"，"<na>"。我无法控制这一点。

当我尝试将值转换为逻辑时，"<na>"值将转换为FALSE且值为"false"。有关如何克服这个问题的任何想法吗？

test_lgl <- 
  tibble(a = c(TRUE, TRUE, NA, NA, FALSE, FALSE),
         b = c("true", "true", "na", "<na>", "false", "f"))

test_lgl %>% mutate_if(is.character, as.logical)

# this works
   a     b
  <lgl> <lgl>
1  TRUE  TRUE
2  TRUE  TRUE
3    NA    NA
4    NA    NA
5 FALSE FALSE
6 FALSE    NA

sc <- spark_connect(master = "local")
spark_lgl <- copy_to(sc, test_lgl)

spark_lgl %>% mutate_if(is.character, as.logical)

# this does not
      a     b
  <lgl> <lgl>
1  TRUE  TRUE
2  TRUE  TRUE
3 FALSE FALSE
4 FALSE FALSE
5 FALSE FALSE
6 FALSE FALSE

Answer 1

当我尝试将值转换为逻辑时，"<na>"值将转换为FALSE

令人惊讶的是没有。如果您进一步检查结果：

spark_lgl_boolean <- spark_lgl %>% mutate_if(is.character, as.logical)
spark_lgl_boolean %>% mutate_all(is.na)

Applying predicate on the first 100 rows
# Source:   lazy query [?? x 2]
# Database: spark_connection
      a     b
  <lgl> <lgl>
1 FALSE FALSE
2 FALSE FALSE
3  TRUE  TRUE
4  TRUE  TRUE
5 FALSE FALSE
6 FALSE FALSE

这与NA count：

一致

spark_lgl_boolean %>%
  mutate_all(is.na) %>% 
  mutate_all(as.numeric) %>%
  summarize_all(sum)

# Source:   lazy query [?? x 2]
# Database: spark_connection
      a     b
  <dbl> <dbl>
1     2     2

Spark execution plan：

spark_lgl %>% mutate_if(is.character, as.logical) %>% optimizedPlan

Applying predicate on the first 100 rows
<jobj[1074]>
  org.apache.spark.sql.catalyst.plans.logical.Project
  Project [a#10, cast(b#11 as boolean) AS b#2037]
+- InMemoryRelation [a#10, b#11], true, 10000, StorageLevel(disk, memory, deserialized, 1 replicas), `test_lgl`
      +- *FileScan csv [a#10,b#11] Batched: false, Format: CSV, Location: InMemoryFileIndex[file:/tmp/..., PartitionFilters: [], PushedFilters: [], ReadSchema: struct<a:boolean,b:string>

和StringType的Spark构建逻辑 - ＆gt; BooleanType其中：

字符串TRUE / T（不区分大小写）和1转换为true字面值。
字符串FALSE / F（不区分大小写）和0转换为false字面值。
以上不匹配的字符串将转换为NULL（〜NA）。

scala> Seq("tRUE", "FALSE", "f", "<na>", "NA", "1", "0").toDF("x").select($"x".cast("boolean")).show
+-----+
|    x|
+-----+
| true|
|false|
|false|
| null|
| null|
| true|
|false|
+-----+

问题似乎是由sparklyr次转化专门引入的。请参阅GitHub上的Improve Serialization（kevinykuo的信用点，指出这一点。）

但是，如果您坚持使用基于Spark的逻辑，而不将数据提取到R，那么事情应该可以正常工作（例如，如果您将数据写入文件）。

我使用spark_read_csv（）加载数据

在这种情况下，您可以查看CSV reader的nullValue和nanValue options。例如：

spark_read_csv(..., options=list(nullValue="<na>"))

或

spark_read_csv(..., options=list(nanValue="<na>"))

但请注意，NULL / NaN的Spark语义与R NA / NaN不同。

使用sparklyr将字符串转换为R中的逻辑

1 个答案: