Spark SQL Dataframe- java.lang.ArrayIndexOutOfBoundsException错误

Question

使用spark java我在逗号分隔符源文件上创建了数据帧。在源文件中，如果最后一列包含空值，则抛出arrayindexoutofbound错误。下面是示例数据和代码。我有什么方法可以处理这个错误因为有很多在最后一栏获得空白值的机会。在下面的示例数据第4行导致问题。

样本数据

1，VIV，CHN，34

2，人，GNT，56

3，ANU，双关，22

** 4，拉吉，砰，*

    JavaRDD<String> dataQualityRDD = spark.sparkContext().textFile(inputFile, 1).toJavaRDD();
    String schemaString = schemaColumns;
    List<StructField> fields = new ArrayList<>();
    for (String fieldName : schemaString.split(" ")) {
      StructField field = DataTypes.createStructField(fieldName, DataTypes.StringType, true);
      fields.add(field);
    }
    StructType schema = DataTypes.createStructType(fields);

    JavaRDD<Row> rowRDD = dataQualityRDD.map((Function<String, Row>) record -> { 
               // String[] attributes = record.split(attributes[0], attributes[1].trim());
               Object[] items = record.split(fileSplit);

               // return RowFactory.create(attributes[0], attributes[1].trim()); 
                       return RowFactory.create(items);
             }); 




    }
}

Answer 1

我使用了spark 2.0并且能够毫无例外地阅读csv：

        SparkSession spark = SparkSession.builder().config("spark.master", "local").getOrCreate();
    JavaSparkContext jsc = JavaSparkContext.fromSparkContext(spark.sparkContext());

    JavaRDD<Row> csvRows = spark.read().csv("resources/csvwithnulls.csv").toJavaRDD();

    StructType schema = DataTypes.createStructType(
            new StructField[] { new StructField("id", DataTypes.StringType, false, Metadata.empty()),
                    new StructField("fname", DataTypes.StringType, false, Metadata.empty()),
                    new StructField("lname", DataTypes.StringType, false, Metadata.empty()),
                    new StructField("age", DataTypes.StringType, false, Metadata.empty()) });

    Dataset<Row> newCsvRows = spark.createDataFrame(csvRows, schema);
    newCsvRows.show();

完全使用你拥有的行并且它工作正常：请参阅输出：