Question

我正在使用Spark 2.1.0。对于以下代码，它读取文本文件并将内容转换为DataFrame，然后输入Word2Vector模型：

SparkSession spark = SparkSession.builder().appName("word2vector").getOrCreate();
JavaRDD<String> lines = spark.sparkContext().textFile("input.txt", 10).toJavaRDD();
JavaRDD<List<String>> lists = lines.map(new Function<String, List<String>>(){
                public List<String> call(String line){
                    List<String> list = Arrays.asList(line.split(" "));
                    return list;
                }
            });

JavaRDD<Row> rows = lists.map(new Function<List<String>, Row>() {
                public Row call(List<String> list) {
                    return RowFactory.create(list);
                }
            });


StructType schema = new StructType(new StructField[] {
                        new StructField("text", new ArrayType(DataTypes.StringType, true), false, Metadata.empty()) 
                    });

Dataset<Row> input = spark.createDataFrame(rows, schema);
input.show(3);
Word2Vec word2Vec = new Word2Vec().setInputCol("text").setOutputCol("result").setVectorSize(100).setMinCount(0);
Word2VecModel model = word2Vec.fit(input);
Dataset<Row> result = model.transform(input);

抛出异常

java.lang.RuntimeException：编码时出错：java.util.Arrays $ ArrayList不是有效的外部类型数组模式

发生在第input.show(3)行，因此createDataFrame()导致异常，因为Arrays.asList()返回数组$ ArrayList ，此处不支持。但Spark官方文档中包含以下代码：

List<Row> data = Arrays.asList(
      RowFactory.create(Arrays.asList("Hi I heard about Spark".split(" "))),
      RowFactory.create(Arrays.asList("I wish Java could use case classes".split(" "))),
      RowFactory.create(Arrays.asList("Logistic regression models are neat".split(" ")))
    );

StructType schema = new StructType(new StructField[]{
      new StructField("text", new ArrayType(DataTypes.StringType, true), false, Metadata.empty())
});
Dataset<Row> documentDF = spark.createDataFrame(data, schema);

效果很好。如果不支持 Arrays $ ArrayList ，为什么这段代码有效呢？不同之处在于我正在将JavaRDD<Row>转换为DataFrame，但官方文档正在将List<Row>转换为DataFrame。我相信Spark Java API有一个重载方法createDataFrame（），它接受JavaRDD<Row>并根据提供的模式将其转换为DataFrame。我很困惑为什么它不起作用。有人可以帮忙吗？

Answer 1

我几天前遇到了同样的问题，解决这个问题的唯一方法是使用数组数组。为什么？以下是回复：

ArrayType是Scala Arrays的包装器，它与Java阵列一一对应。默认情况下，Java ArrayList未映射到Scala数组，这就是您获得异常的原因：

java.util.Arrays $ ArrayList不是数组模式的有效外部类型

因此，直接传递String []可以有效：

RowFactory.create(line.split(" "))

但由于 create 将一个Object列表作为输入，因为一行可能有一个列列表，String []会被解释为一个String列列表。这就是需要双数组String的原因：

RowFactory.create(new String[][] {line.split(" ")})

然而，仍然是从spark文档中的Java List行构建DataFrame的谜团。这是因为SparkSession.createDataFrame函数版本作为行的第一个参数java.util.List进行特殊类型检查和转换，以便将所有Java Iterable（如此ArrayList）转换为Scala数组。但是，使用JavaRDD的SparkSession.createDataFrame将行内容直接映射到DataFrame。

要总结，这是正确的版本：

    SparkSession spark = SparkSession.builder().master("local[*]").appName("Word2Vec").getOrCreate();
    SparkContext sc = spark.sparkContext();
    sc.setLogLevel("WARN");
    JavaRDD<String> lines = sc.textFile("input.txt", 10).toJavaRDD();
    JavaRDD<Row> rows = lines.map(new Function<String, Row>(){
        public Row call(String line){
            return RowFactory.create(new String[][] {line.split(" ")});
        }
    });

    StructType schema = new StructType(new StructField[] {
            new StructField("text", new ArrayType(DataTypes.StringType, true), false, Metadata.empty())
    });
    Dataset<Row> input = spark.createDataFrame(rows, schema);
    input.show(3);

希望这能解决你的问题。

Answer 2

正如错误所说的那样。 ArrayList不等同于Scala的数组。您应该使用普通数组（即String[]）。

Answer 3

下面对我来说一切正常

JavaRDD<Row> rowRdd = rdd.map(r -> RowFactory.create(r.split(",")));

将JavaRDD转换为DataFrame时出现Spark错误：java.util.Arrays $ ArrayList不是数组<string>

3 个答案: