将JSON文件转换为pyspark数据帧，然后转换为RDD

Question

我有一个json文件，格式如下，我转换为pyspark Dataframe。转换后的数据框如下所示。

以下是推文数据框：

+-------------+--------------------+-------------------+
|     tweet_id|               tweet|               user|
+-------------+--------------------+-------------------+
|1112223445455|@xxx_yyyzdfgf @Yoko |             user_1|
|1112223445456|sample test tweet   |             user_2|
|1112223445457|test mention @xxx_y |             user_1|
|1112223445458|testing @yyyyy      |             user_3|
|1112223445459|@xxx_yyzdfgdd @frnd |             user_4|
+-------------+--------------------+-------------------+

我现在正试图从列中提取所有提及（以＆＃34; @＆＃34;开头的单词） - 推文。

我是通过将其转换为RDD并使用以下代码拆分所有行来完成的。

tweets_rdd = tweets_df.select("tweet").rdd.flatMap(list)
tweets_rdd_split=tweets_rdd.flatMap(lambda text:text.split(" ")).filter(lambda word:word.startswith('@')).map(lambda x:x.split('@')[1])

现在我的输出格式如下。

[u'xxx_yyyzdfgf',
 u'Yoko',
 u'xxx_y',
 u'yyyyy',
 u'xxx_yyzdfgdd',
 u'frnd']

每行都有u' '内的提及。我认为它出现是因为初始文件是一个json文件。我尝试使用拆分和替换等功能删除它。但它不起作用。有人可以帮我删除这些吗？

有没有比这更好的方法来提取提及？

Answer 1

开始你＆＃39;＆＃39;是因为它是一个unicode对象..你可以很容易地将它转换为字符串格式。

您可以参考这个来理解unicode和string之间的区别。 What is the difference between u' ' prefix and unicode() in python?

您可以使用lambda函数

映射列

tweets_rdd_split = tweets_rdd_split.map(lambda x: str(x))

Answer 2

最初我尝试了

tweets_rdd_split = tweets_rdd_split.map(lambda x: str(x))

如pisall建议删除unicodes。

但是在推文中有外来字符在使用str（x）时导致编码错误。因此我使用以下内容来纠正这个问题。

tweets_rdd_split = tweets_rdd_split.map(lambda x: x.encode("ascii","ignore"))

这解决了编码问题。