在agg之后从数据帧获取结果值

时间:2018-10-31 21:28:32

标签: java apache-spark apache-spark-sql

我正在使用以下代码对来自文本文件的值进行简单的求和运算。我想从数据帧中获取Java代码中的结果。

我该怎么办?

 SparkSession sc = jobContext.sparkSession();

    Dataset<Row> df = sc.read().format("csv")
    .option("header", "false") //Since text file doesnt contain any header
    .load("s3://test/input.txt") //configuring s3 bucket with txt file having numbers on each line
    .toDF("val"); //assigning column name values

    return "Sum is : " + df.select(sum("val"));

请给我Sum is : [Sum(val): double],如何从数据框中获取结果?

1 个答案:

答案 0 :(得分:1)

收集第一行并获取其字段

 return "Sum is : " + df.select(sum("val").alias("sum")).first().getAs(0);