Spark读取分隔的csv忽略转义

时间:2019-03-19 23:25:52

标签: scala csv apache-spark dataframe

我需要读取一个以“ |”分隔的csv:每个列值都是一个字符串,并且包含在“”之间。 我用这段代码读取文件

val df = spark.read.option("header", "true").option("delimiter","|").option("escape", "_").option("inferSchema","false").csv("maprfs:///iper/file.txt")

是否有一种方法可以忽略而不使用转义符? 否则,如何删除csv文件中的特殊字符(例如“ \”或“ _”)并将其重新加载为数据框?

0 个答案:

没有答案