Apache Spark SQL上下文dropDuplicates

时间:2016-08-01 17:21:46

标签: java apache-spark

我尝试使用Spark的1.5方法 dropDuplicates()来过滤DataFrame内容。 将它与完全数据填充表(我的意思是没有空单元格)一起使用会得到正确的结果,但是当我的CSV源包含空单元格时(我将提供源文件) - Spark throw ArrayIndexOutOfBoundsException。 我究竟做错了什么?我已经阅读了1.6.2版本的Spark SQL和DataFrames教程,它没有详细描述DataFrame操作。我也正在读书"学习星火。 Lightning-Fast大数据分析。",但它为Spark 1.5编写,我需要的操作在那里没有描述。我很高兴得到解释或链接到手册。 谢谢。

    package data;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructType;

import java.util.Arrays;

public class TestDrop {
    public static void main(String[] args) {
        DropData dropData = new DropData("src/main/resources/distinct-test.csv");
        dropData.execute();
    }
}

class DropData{

    private String csvPath;
    private JavaSparkContext sparkContext;
    private SQLContext sqlContext;

    DropData(String csvPath) {
        this.csvPath = csvPath;
    }

    void execute(){
        initContext();
        DataFrame dataFrame = loadDataFrame();
        dataFrame.show();
        dataFrame.dropDuplicates(new String[]{"surname"}).show();
        //this one fails too: dataFrame.drop("surname")
    }

    private void initContext() {
        sparkContext = new JavaSparkContext(new SparkConf().setMaster("local[4]").setAppName("Drop test"));
        sqlContext = new SQLContext(sparkContext);
    }

    private DataFrame loadDataFrame() {
        JavaRDD<String> strings = sparkContext.textFile(csvPath);

        JavaRDD<Row> rows = strings.map(string -> {
            String[] cols = string.split(",");
            return RowFactory.create(cols);
        });

        StructType st = DataTypes.createStructType(Arrays.asList(DataTypes.createStructField("name", DataTypes.StringType, false),
                DataTypes.createStructField("surname", DataTypes.StringType, true),
                DataTypes.createStructField("age", DataTypes.StringType, true),
                DataTypes.createStructField("sex", DataTypes.StringType, true),
                DataTypes.createStructField("socialId", DataTypes.StringType, true)));

        return sqlContext.createDataFrame(rows, st);
    }
}

1 个答案:

答案 0 :(得分:0)

发送列表而不是Object []结果作为创建行,包含1列,其中包含列表。这就是我做错了。