我有一个数据框 gi_man_df ,其中group可以 n :
+------------------+-----------------+--------+--------------+
| group | number|rand_int| rand_double|
+------------------+-----------------+--------+--------------+
| 'GI_MAN'| 7| 3| 124.2|
| 'GI_MAN'| 7| 10| 121.15|
| 'GI_MAN'| 7| 11| 129.0|
| 'GI_MAN'| 7| 12| 125.0|
| 'GI_MAN'| 7| 13| 125.0|
| 'GI_MAN'| 7| 21| 127.0|
| 'GI_MAN'| 7| 22| 126.0|
+------------------+-----------------+--------+--------------+
我期待一个numpy nd_array,即 gi_man_array :
[[[124.2],[121.15],[129.0],[125.0],[125.0],[127.0],[126.0]]]
应用数据透视后的rand_double值。
我尝试了以下两种方法:
第一:我按如下方式转动gi_man_df:
gi_man_pivot = gi_man_df.groupBy("number").pivot('rand_int').sum("rand_double")
我得到的输出是:
Row(number=7, group=u'GI_MAN', 3=124.2, 10=121.15, 11=129.0, 12=125.0, 13=125.0, 21=127.0, 23=126.0)
但这里的问题是获得所需的输出,我无法将其转换为矩阵然后再转换为numpy数组。
SECOND: 我使用以下方法在数据框中创建了向量:
assembler = VectorAssembler(inputCols=["rand_double"],outputCol="rand_double_vector")
gi_man_vector = assembler.transform(gi_man_df)
gi_man_vector.show(7)
我得到了以下输出:
+----------------+-----------------+--------+--------------+--------------+
| group| number|rand_int| rand_double| rand_dbl_Vect|
+----------------+-----------------+--------+--------------+--------------+
| GI_MAN| 7| 3| 124.2| [124.2]|
| GI_MAN| 7| 10| 121.15| [121.15]|
| GI_MAN| 7| 11| 129.0| [129.0]|
| GI_MAN| 7| 12| 125.0| [125.0]|
| GI_MAN| 7| 13| 125.0| [125.0]|
| GI_MAN| 7| 21| 127.0| [127.0]|
| GI_MAN| 7| 22| 126.0| [126.0]|
+----------------+-----------------+--------+--------------+--------------+
但问题是我无法在 rand_dbl_Vect 上转动它。
所以我的问题是:
1.两种方法中的任何一种是否是达到所需输出的正确方法,如果是,那么我该如何进一步获得所需的结果呢?
2.我可以采用哪种其他方式,以便代码最佳,性能良好?
答案 0 :(得分:15)
此
import numpy as np
np.array(gi_man_df.select('rand_double').collect())
生成
array([[ 124.2 ],
[ 121.15],
.........])