spark数据帧过滤条件不能使用字符串

Question

我使用了spark 1.3.0

df.filter("di4='test'").show()

和di4是我的专栏 错误是

org.apache.hive.service.cli.HiveSQLException: AnalysisException: couldn't resolve column reference: 'test'

但是当我尝试

时

df.filter("di5=10").show()

它的成功 有人可以帮帮我吗？感谢

Answer 1

对于基于字符串的过滤，长语法更安全： df.filter(df("di4")==="test")假设您确实希望过滤值＆＃34; test＆＃34;，而不是其他名为test的列。