我有一本字典,名称为“ Word_Count”,键表示单词,值表示文本中的数字单词。我的目的是将其转换为具有两列单词和计数的数据框
items = list(Word_Counts.items())[:5]
items
输出:
[('Akdeniz’in', 14), ('en', 13287), ('büyük', 3168), ('deniz', 1276), ('festivali:', 6)]
当我使用sc.parallelize建立一个RDD时,我意识到它会删除所有值,并且在创建表时结果只剩下键,它只包含键。请让我知道如何使用RDD
从字典建立数据帧rdd1 = sc.parallelize(Word_Counts)
Df_Hur = spark.read.json(rdd1)
rdd1.take(5)
输出:
['Akdeniz’in', 'en', 'büyük', 'deniz', 'festivali:']
Df_Hur.show(5)
输出:
+---------------+
|_corrupt_record|
+---------------+
| Akdeniz’in|
| en|
| büyük|
| deniz|
| festivali:|
+---------------+
我的目标是:
word count
Akdeniz’in 14
en 13287
büyük 3168
deniz 1276
festivali: 6
答案 0 :(得分:1)
您可以将word_count.items()
直接输入parallelize
:
df_hur = sc.parallelize(word_count.items()).toDF(['word', 'count'])
df_hur.show()
>>>
+----------+-----+
| word|count|
+----------+-----+
|Akdeniz’in| 14|
| en|13287|
| büyük| 3168|
| deniz| 1276|
|festivali:| 6|
+----------+-----+