Question

我正在尝试读取定界的文件，该文件用制表符分隔，但无法读取所有记录。

这是我的输入记录：

head1   head2   head3
a   b   c
a2  a3  a4
a1  "b1 "c1

我的代码：

var inputDf = sparkSession.read
                  .option("delimiter","\t")
                  .option("header", "true")
//                  .option("inferSchema", "true")
                  .option("nullValue", "")
                  .option("escape","\"")
                  .option("multiLine", true)
                  .option("nullValue", null)
                  .option("nullValue", "NULL")
                  .schema(finalSchema)
                  .csv("file:///C:/Users/prhasija/Desktop/retriedAddresses_4.txt")
//                  .csv(inputPath)
                  .na.fill("")
//                  .repartition(4)

                  println(inputDf.count)

输出：

2 records

为什么它不返回3作为计数？

Answer 1

我认为您需要在阅读中添加以下选项：.option（“ escape”，“ \\”）和.option（“ quote”，“ \\”）

val test = spark.read
    .option("header", true)
    .option("quote", "\\")
    .option("escape", "\\")
    .option("delimiter", ",")
    .csv(".../test.csv")

这是我在上面使用过的测试csv：

a,b,c
1,b,a
5,d,e
5,"a,"f

完整输出：

scala> val test = spark.read.option("header", true).option("quote", "\\").option("escape", "\\").option("delimiter", ",").csv("./test.csv")
test: org.apache.spark.sql.DataFrame = [a: string, b: string ... 1 more field]

scala> test.show
+---+---+---+
|  a|  b|  c|
+---+---+---+
|  1|  b|  a|
|  5|  d|  e|
|  5| "a| "f|
+---+---+---+


scala> test.count
res11: Long = 3

阅读CSV时，Escape引号在Spark 2.2.0中不起作用

1 个答案: