如何将单行和单列的org.apache.spark.sql.DataFrame转换为整数值

Question

考虑使用

从spark内部查询配置单元数据

val selectMemCntQry = "select column1 from table1 where column2 = "+col_2_val
    val table_col2 = sparkSession.sql(selectMemCntQry)
    val diff = table_col2 - file_member_count

其中file_member_count是一个整数值。我知道table_col2的结果总是转到一个数字 我想从整数值中减去查询结果。但我面临的错误是 value - 不是org.apache.spark.sql.DataFrame

的成员

Answer 1

import org.apache.spark.sql.Row

val Row(colum1: Integer) = sparkSession.sql(selectMemCntQry).first
colum1 - file_member_count

或

sparkSession.sql(selectMemCntQry).first.getAs[Integer]("column1") - file_member_count

或

sparkSession.sql(selectMemCntQry).as[Integer].first - file_member_count