通过在pyspark中使用RDD从字典创建数据框

时间:2019-02-25 12:36:15

标签: python apache-spark pyspark

我有一本字典,名称为“ Word_Count”,键表示单词,值表示文本中的数字单词。我的目的是将其转换为具有两列单词和计数的数据框

items = list(Word_Counts.items())[:5]
items

输出:

[('Akdeniz’in', 14), ('en', 13287), ('büyük', 3168), ('deniz', 1276), ('festivali:', 6)]

当我使用sc.parallelize建立一个RDD时,我意识到它会删除所有值,并且在创建表时结果只剩下键,它只包含键。请让我知道如何使用RDD

从字典建立数据帧
rdd1 = sc.parallelize(Word_Counts)
Df_Hur = spark.read.json(rdd1)
rdd1.take(5)

输出:

['Akdeniz’in', 'en', 'büyük', 'deniz', 'festivali:']

Df_Hur.show(5)

输出:

+---------------+ 
|_corrupt_record|
+---------------+ 
| Akdeniz’in|
| en| 
| büyük| 
| deniz| 
| festivali:| 
+---------------+

我的目标是:

   word       count
  Akdeniz’in    14
  en            13287
  büyük         3168
  deniz         1276
  festivali:    6

1 个答案:

答案 0 :(得分:1)

您可以将word_count.items()直接输入parallelize

df_hur = sc.parallelize(word_count.items()).toDF(['word', 'count'])

df_hur.show()

>>>
+----------+-----+
|      word|count|
+----------+-----+
|Akdeniz’in|   14|
|        en|13287|
|     büyük| 3168|
|     deniz| 1276|
|festivali:|    6|
+----------+-----+