如何从数据框中提取一个值（我想要一个int而不是行）并对其进行简单的计算？

Question

我有一个数据框，在apache spark中将其称为“ df”，具有3个列和大约1000行。 其中一个列在每行中“存储”一个双精度数为1.00或0.00的列，将其称为“ column x” 我需要获取“ column x”中的行数1.00，以用作变量。

我至少知道两种方法，但是我不知道如何完成这两种方法。

对于第一个，我首先制作了新的数据框，然后选择“ column x”命名为df2（摆脱了我不需要的其他列）：

df2 = df.select('column_x')

然后我创建了另一个将1.00和0.00分组的数据框，将其称为grouped_df：

grouped_df = df2.map(lambda label : (label, 1)).reduceByKey(lambda a, b: a +b)

此数据框现在仅由2行组成，而不是1000行。 第一行是将1.00行加在一起成为双精度值，第二行是0.00。

现在这是问题所在，我不知道如何将元素“提取”为一个值，以便可以将其用于计算。我只设法使用.take（1）或collect（）来显示dataframes元素是正确的，但是我不能用它进行例如简单的除法，因为它不返回int

另一种方法是只过滤掉df2中的所有0.00，然后在过滤的数据帧上使用.count（），因为这似乎返回了我可以使用的int。

编辑：如下所示：

Answer 1

一旦您拥有带有汇总列总计数的最终数据框，则可以在该数据框上调用“ 收集”，这会将数据框的行作为行列表返回>数据类型。

从“行”列表中，您可以按列名查询对列值的访问并分配给变量，如下所示：

>>> df.show()
+--------+----+
|    col1|col2|
+--------+----+
|column_x|1000|
|column_y|2000|
+--------+----+

>>>
>>> test = df.collect()
>>> test
[Row(col1=u'column_x', col2=1000), Row(col1=u'column_y', col2=2000)]
>>>
>>> count_x = test[0].col2
>>> count_x
1000
>>>
>>> count_y = test[1].col2
>>> count_y
2000
>>>

Answer 2

编辑 我没有注意到您在询问python，而是用Scala编写了代码，但原则上解决方案应该相同，您只应使用python API

数据框实质上是数据集合的包装器。分布式，但是仍然是一个集合。有一个操作org.apache.spark.sql.Dataset#collect，该操作实际上将该集合解包为一个简单的scala Array。当拥有一个数组时，您可以简单地从中获取第n个元素，或者，由于您只关心第一个元素，因此可以在数组上调用head()以获取第一个元素。由于您使用的是DataFrame，因此您可以获得org.apache.spark.sql.Row元素的集合。要检索元素的值，您必须调用getDouble或要从中提取的任何值。

总结一下，这是可以（大致）完成您想要的代码：

val grouped_df = df2.map(lambda label : (label, 1)).reduceByKey(lambda a, b: a +b)
val collectionOfValues: Array[Row] = grouped_df.collect
val topRow: Row = collectionOfValues.head
val value: Double = topRow.getDouble

希望这就是您想要的。

请按照文档说明：

  

运行收集需要将所有数据移至应用程序的驱动程序进程中，并且在非常大的数据集上执行此操作可能会导致OutOfMemoryError导致驱动程序进程崩溃

Answer 3

编辑：我希望编写导入文件。

我通过将结果转换为熊猫的dataFrame，然后在位置[[0] [0]]的单元格上使用int（）函数来获取变量x中的整数形式的结果，从而解决了该问题。另外，您可以使用float（）。

import pyspark.sql.functions as f
data=[(1,1,1),(1,2,0),(0,3,1),(1,4,1),(0,1,0),(0,2,0),(1,3,1)]
df=spark.createDataFrame(data,['class_label','review','words'])

print(type(df))

> <class 'pyspark.sql.dataframe.DataFrame'>

print(df)

+-----------+------+-----+ 
|class_label|review|words| 
+-----------+------+-----+ 
|          1|     1|    1| 
|          1|     2|    0| 
|          0|     3|    1| 
|          1|     4|    1| 
|          0|     1|    0| 
|          0|     2|    0| 
|          1|     3|    1| 
+-----------+------+-----+

df2 = df.groupBy().agg(f.sum('class_label').alias('result')).toPandas()

x = int(df2.iloc[[0][0]])

print(type(x))
> <type 'int'>
print(x)
> 4