如何处理＆＃39; NULL＆＃39; SparkSQL中的值？

Question

我的Hive表中有一些NULL值我需要过滤掉。但是当我运行"x IS NOT NULL"，"x != NULL"，"x <> NULL"等查询时，它们都没有奏效。 经过一些搜索后，我发现我必须告诉Hive解析器处理属性NULL指定的serialization.null.format值。

我需要知道我可以在哪里设置它。

我可以在setConf启动Hive Context时致电SparkSQL上的def echo(data): print data .... lines = MQTTUtils.createStream(ssc, brokerUrl, topics) topic_rdd = lines.map(lambda x: get_topic_rdd(x)).filter(lambda x: x[0]!= None) topic_rdd.foreachRDD(lambda x: echo(x)) 功能吗？

Answer 1

您可以逐个使用Spark SQL IF isnull。