Question

所描述的解决方案here（by zero323）非常接近我想要的两个曲折：

我如何用Java做到这一点？
如果列中包含字符串列表而不是单个字符串，并且我想在GroupBy（其他列）之后将所有此类列表收集到单个列表中，该怎么办？

我正在使用Spark 1.6并尝试使用

org.apache.spark.sql.functions.collect_list(Column col)如该问题的解决方案中所述，但出现以下错误

线程“main”中的异常org.apache.spark.sql.AnalysisException：undefined function collect_list; 在org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry $$ anonfun $ 2.apply（FunctionRegistry.scala：65）在org.apache.spark.sql.catalyst.analysis.SimpleFunctionRegistry $$ anonfun $ 2.apply（FunctionRegistry.scala：65）在scala.Option.getOrElse（Option.scala：121）

Answer 1

您看到错误建议您使用普通SQLContext而不是HiveContext。 collect_list是一个Hive UDF，因此需要HiveContext。它也不支持复杂列，因此唯一的选择是先explode：

import org.apache.spark.api.java.*;
import org.apache.spark.SparkConf;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.hive.HiveContext;
import java.util.*;
import org.apache.spark.sql.DataFrame;
import static org.apache.spark.sql.functions.*;

public class App {
  public static void main(String[] args) {
    JavaSparkContext sc = new JavaSparkContext(new SparkConf());
    SQLContext sqlContext = new HiveContext(sc);
    List<String> data = Arrays.asList(
            "{\"id\": 1, \"vs\": [\"a\", \"b\"]}",
            "{\"id\": 1, \"vs\": [\"c\", \"d\"]}",
            "{\"id\": 2, \"vs\": [\"e\", \"f\"]}",
            "{\"id\": 2, \"vs\": [\"g\", \"h\"]}"
    );
    DataFrame df = sqlContext.read().json(sc.parallelize(data));
    df.withColumn("vs", explode(col("vs")))
           .groupBy(col("id"))
           .agg(collect_list(col("vs")))
           .show();
  }
}

虽然它不太可能表现良好。

如何在GroupBy操作后从spark DataFrame列中收集字符串列表？

1 个答案: