PYSPARK:如何通过考虑其他参数(例如userbio,Pyspark python中的位置)过滤推文?

时间:2019-07-12 10:48:40

标签: apache-spark pyspark apache-kafka pyspark-sql sttwitterapi

如何使用.filter查询某些条件的推文?

 # sc.parallelize(lines).toDF()
    status=lines.map(lambda tweets: 
    extractTweet(json.loads(tweets.encode('utf-8'))))
    tweet=status.filter(lambda y : y.lower().contain())
    tweet.pprint()

0 个答案:

没有答案