Question

遇到此事时我正在学习pyspark。

from pyspark.sql import Row
df = spark.createDataFrame([Row([0,45,63,0,0,0,0]),
                           Row([0,0,0,85,0,69,0]),
                           Row([0,89,56,0,0,0,0])],
                           ['features'])

+--------------------+
|            features|
+--------------------+ 
|[0, 45, 63, 0, 0,...|
|[0, 0, 0, 85, 0, ...|
|[0, 89, 56, 0, 0,...|
+--------------------+

sample = df.rdd.map(lambda row: row[0]*2)
sample.collect()

[[0, 45, 63, 0, 0, 0, 0, 0, 45, 63, 0, 0, 0, 0],
[0, 0, 0, 85, 0, 69, 0, 0, 0, 0, 85, 0, 69, 0],
[0, 89, 56, 0, 0, 0, 0, 0, 89, 56, 0, 0, 0, 0]]

我的问题是为什么将row [0]作为一个完整列表而不是一个值？提供上述输出的属性是什么

Answer 1

将其作为完整列表视为完整列表，并且还在“功能”列下对其进行了定义

您在说

df.rdd.map(lambda row: row[0]*2)

您只是在问火花“我希望此列表中的所有值都出现两次”。因此，您将获得所得到的输出。

现在如何获取列表中的单个值。

df = spark.createDataFrame([Row(0,45,63,0,0,0,0),
                       Row(0,0,0,85,0,69,0),
                       Row(0,89,56,0,0,0,0)],
                       ['feature1' , 'feature2' , 'feature3' , 'feature4', 'feature5' , 'feature6' , 'feature7'])

这应该使您可以访问专用列中的各个值。

注意：模式的语法只是表示形式。请参阅spark文档以获取确切语法。

希望这会有所帮助：）

如何在pyspark中对rdd进行映射？

1 个答案: