如何使用Spark Scala计算Bin平均值？

Question

我有一个大约12000行的大型数据集。数据由位移值和时间戳组成。对于每10行，我想计算平均值，std dev方差等。

我可以使用窗口功能吗？或者有人可以提出更简单的方法吗？

P.S：我是Spark和scala的新手。提前谢谢。

Answer 1

是使用rolling windows与lag，lead，rowsBetween等等，根据您的使用案例，有大量选项可供选择：windows explained {{3 }}