Question

我正在使用df.write("csv")在Apache Spark中编写我的值集。

默认情况下，它会写入如下值：

1,abcded,"qwe,rr"即在值内有逗号时用双引号括起来。

但是，我想要像qwe\\,rr那样转义逗号而不是用双引号括起来。关于如何实现这一点的任何想法？

Answer 1

如果您使用databricks中的spark-csv，则可以将case $http_status in 200) echo "Credentials valid";; 301|302) echo "API endpoint changed";; 401) echo "Credentials INVALID";; 5*) echo "BitBucket Internal server error";; *) echo "Unexpected HTTP status code: $http_status";; esac属性设置为quoteMode，如下所示。

None

Answer 2

我能够这样做：

import org.apache.spark.sql.functions._

val updatedDf = df.withColumn(
   "<column-name>", regexp_replace(col("<column-name>"), ",", "\\\\\\\\,"))

在将spark数据帧写入csv时，在值内部转义逗号

2 个答案: