以字符串开头的Spark数据框搜索列

时间:2017-08-07 17:13:16

标签: apache-spark apache-spark-sql spark-dataframe

我要求根据列值应以预定义字符串开头的条件过滤数据框。

我正在尝试关注:

 val domainConfigJSON = sqlContext.read
    .jdbc(url, "CONFIG", prop)
    .select("DID", "CONF", "KEY").filter("key like 'config.*'")

获得例外:

  

引起:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:   您的SQL语法有错误;检查手册   对应于您的MariaDB服务器版本,以获得正确的语法   靠近' KEY =' config。*''在第1行

Using spark: 1.6.1

1 个答案:

答案 0 :(得分:8)

您可以使用Column类中的startsWith函数。

myDataFrame.filter(col("columnName").startsWith("PREFIX"))