Question

我有一个数据框：

+------------------+
|         speed    |
+------------------+
|               0.0|
|               0.0|
|               0.0|
|               0.0|
|               0.0|
|               0.0|
| 3.851015222867941|
| 4.456657435740331|
|               0.0|
|               NaN|
|               0.0|
|               0.0|
|               NaN|
|               0.0|
|               0.0|
| 5.424094717765175|
|1.5781185921913181|
|2.6695439462433033|
| 17.43513658955467|
| 5.440912941359523|
|11.507138536880484|
|12.895677610360089|
| 9.930875909722456|
+------------------+

我想计算速度列的平均值和标准偏差。 执行此代码时

dataframe_final.select("speed").orderBy("id").agg(avg("speed")).show(1000)

我知道

+------------+
|avg(speed)|
+------------+
|         NaN|
+------------+

问题出在哪里？有解决的可能性吗？

谢谢

Answer 1

您的数据集中有NaN（非数字）值。您不能用这些来计算平均值。

您可以过滤它们：


dataframe_final
  .filter($"speed".isNotNull())
  .select("speed")
  .orderBy("id")
  .agg(avg("speed"))
  .show(1000)

或使用fill function用0替换它们：

dataframe_final
  .select("speed")
  .na.fill(0)
  .agg(avg("speed"))
  .show(1000)

此外，您正在尝试汇总Vitesse列而不是speed列。

Answer 2

we can also createOrReplaceTempView(dataframe_final) and then we can use spark sql to query and take avg of the speed column

val tableview= dataframe_final.createOrReplaceTempView()
val query = select avg(speed) from tableview where speed IS NOT NULL order by Id
spark.sql(query).show()

使用Spark / SCALA计算平均值和标准偏差

2 个答案: