使用scala的Sparksql

Question

val scc = spark.read.jdbc(url,table,properties)
val d = scc.createOrReplaceTempView(“k”)    

spark.sql(“select * from k”).show()              

如果您在这里观察到@ 1，我们正在读取完整表，然后@ 3，我们将根据所需查询来获取结果。在这里读取完整表然后进行查询需要花费大量时间。建立连接时我们不能执行查询吗？如果您对此有所了解，请帮助我。

Answer 1

检查一下。

var dbTable =
        "(select emp_no, concat_ws(' ', first_name, last_name) as full_name from employees) as employees_name";

Dataset<Row> jdbcDF = 
        sparkSession.read().jdbc(CONNECTION_URL, dbTable,connectionProperties);