在Apache Spark CSV中，我们给出了字段的分隔符，但是如何为行提供分隔符？

Question

我们有不同类型的CSV文件，其中一些是行分隔符的新行字符，其中一些是其他自定义分隔符，如|，！等等是行分隔符。那么如何在spark CSV数据读取中提供行分隔符。

Answer 1

在Spark 2.0中，您可以将分隔符作为选项传递。 例如：

var options = new HashMap[String, String]()
options += ("header" -> "true")
options += ("delimiter" -> "\t")
options += ("maxCharsPerColumn" -> "200")

然后您可以传递选项并阅读csv：spark.read.format（“csv”）。options（options）.load（“fileLocation”）