透视火花scala数据帧

Question

我正在尝试在scala-spark中使用pivot方法

val dfOutput =  df_input.groupBy("memberlogin").pivot("country_group2").count()

然而，虽然在eclipse中创建jar时没有任何compliation错误， 在执行火花时，它给出的错误为 -
Exception in thread "main" java.lang.NoSuchMethodError:

org.apache.spark.sql.GroupedData.pivot(Ljava/lang/String;)Lorg/apache/spark/sql/GroupedData;

我导入了所需的库，

import org.apache.spark.sql.GroupedData
import org.apache.spark.sql.functions

另外，

import sqlContext.implicits._

其他线程声称很少。

它不起作用，无法理解，有人可以帮助或指导方向吗？

Answer 1

在Spark 1.6中添加了透视功能，可以使用DataFrame（使用Scala，Java或Python）创建数据透视表。

Answer 2

Spark 1.6中介绍的透视功能请查看此文档Reshaping Data with Pivot in Apache Spark。查看API Pivot Api