在创建DataSet时跳过csv中的第一行

时间:2017-09-19 12:59:32

标签: csv apache-spark apache-spark-sql

我有一个csv,数据为

datepicker

我正在解析它以创建DataSet,并希望跳过第一行。我该怎么办?

1 个答案:

答案 0 :(得分:0)

使用DataFrameReader的标题选项,例如Java中的这样:

Daset<Row> df = spark
            .read()
            .option("inferSchema", true)
            .option("header", true)
            .csv(paths);