Question

我有一个具有不同Atr1值的Dataframe并且有一些其他属性，我想从它生成一个字典，考虑字典的关键字Atr1的每个值（唯一值，如我之前所说）），并且dict的值是Atr2的值。

这是Dataframe：

+------+------+------+------+
| Atr1 | Atr2 | Atr3 | Atr4 |
+------+------+------+------+
|  'C' |  'B' |  21  |  'H' |
+------+------+------+------+
|  'D' |  'C' |  21  |  'J' |
+------+------+------+------+
|  'E' |  'B' |  21  |  'K' |
+------+------+------+------+
|  'A' |  'D' |  24  |  'I' |
+------+------+------+------+

我希望得到这样的词典：

Dict -> {'C': 'B', 'D': 'C', 'E': 'B', 'A': 'D'}

我怎么能这样做？

Answer 1

您可以使用简单的collectAsMap()：

df.select("Atr1", "Atr2").rdd.collectAsMap()

Answer 2

您可以使用以下内容：

attr1 = df.select('attr1').rdd.flatMap(lambda x: x).collect()
attr2 = df.select('attr2').rdd.flatMap(lambda x: x).collect()
result = {k: v for k, v in zip(attr1, attr2)}

Answer 3

如何使用df.to_dict（）？

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_dict.html

import pandas as pd
df = pd.DataFrame({'A1':['C','D','E', 'A'], 'A2':['B','C','B','C']})

   A1 A2
0  C  B
1  D  C
2  E  B
3  A  D

df = df.set_index('A1')
dict = df.to_dict()['A2']

结果

dict = {'C': 'B', 'A': 'D', 'D': 'C', 'E': 'B'}

Answer 4

熊猫解决方案：

df.select('attr1','attr2').toPandas().set_index('Atr1')['Atr2'].to_dict()

注意：@mtoto's solution更优雅，更快，所需资源更少......

如何在Pyspark中的Dictionary中转换Dataframe Column1：Column2（key：value）？

4 个答案: