在Apache Spark数据框上应用特定模式

时间:2017-07-04 16:34:35

标签: apache-spark dataframe spark-dataframe

我正在尝试在数据框上应用特定架构,似乎已应用架构,但所有数据框操作(如count,show等)始终会失败并显示 <script src="https://code.angularjs.org/1.6.1/angular.min.js"></script> <script src="https://code.angularjs.org/1.6.1/angular-route.min.js"></script> <script src="https://cdnjs.cloudflare.com/ajax/libs/angular-resource/1.6.1/angular-resource.min.js"></script> <script src="core/hero/hero.module.js"></script> <script src="hero-grid/hero-grid.module.js"></script> <script src="core/core.module.js"></script> <script src="app.module.js"></script> <script src="app.config.js"></script> <script src="core/hero/hero.service.js"></script> <script src="hero-grid/hero-grid.component.js"></script> ,如下所示:

NullPointerException

这是我的代码:

java.lang.NullPointerException was thrown.
java.lang.NullPointerException
    at org.apache.spark.sql.catalyst.expressions.AttributeReference.hashCode(namedExpressions.scala:218)
    at scala.runtime.ScalaRunTime$.hash(ScalaRunTime.scala:210)

简而言之,实际上有3个数据帧:

  1. df - 原始数据框
  2. mydf-我尝试在df上应用的架构来自此数据框
  3. newdf-创建一个与df相同的新数据帧,但具有不同的架构

0 个答案:

没有答案