我正在使用以下代码对来自文本文件的值进行简单的求和运算。我想从数据帧中获取Java代码中的结果。
我该怎么办?
SparkSession sc = jobContext.sparkSession();
Dataset<Row> df = sc.read().format("csv")
.option("header", "false") //Since text file doesnt contain any header
.load("s3://test/input.txt") //configuring s3 bucket with txt file having numbers on each line
.toDF("val"); //assigning column name values
return "Sum is : " + df.select(sum("val"));
请给我Sum is : [Sum(val): double]
,如何从数据框中获取结果?
答案 0 :(得分:1)
收集第一行并获取其字段
return "Sum is : " + df.select(sum("val").alias("sum")).first().getAs(0);