如何使用scala api编写不像spark sql中的查询？

Question

我想使用Scala API将以下查询转换为Spark SQL：

select ag.part_id name from sample c join testing ag on c.part=ag.part and concat(c.firstname,c.lastname) not like 'Dummy%' 

有什么想法吗？

提前致谢

Answer 1

也许这会奏效：

import org.apache.spark.sql.functions._

val c = sqlContext.table("sample")
val ag = sqlContext.table("testing")

val fullnameCol = concat(c("firstname"), c("lastname))

val resultDF = c.join(ag, (c("part") === ag("part")) && !fullnameCol.like("Dummy%"))

有关我上面使用的功能的更多信息，请查看以下链接：

• org.apache.spark.sql.functions
• org.apache.spark.sql.DataFrame
• org.apache.spark.sql.Column

Answer 2

你是这个意思

df.filter("filed1 not like 'Dummy%'").show

或

df.filter("filed1 ! like 'Dummy%'").show

Answer 3

这样使用

df.filter（！'col1.like（“％COND％”）。show