mapPartition on Dataset [Case class]抛出类未找到异常

时间:2017-12-06 17:36:20

标签: scala apache-spark dataset apache-spark-dataset

我正在尝试在用户案例类的数据集上运行地图分区。 在当地的盒子上工作正常,但是当我在纱线集群上运行时,我得到例外:

scala.ScalaReflectionException: Person in JavaMirror with sun.misc.Launcher$AppClassLoader@1761e840 of type class sun.misc.Launcher$AppClassLoader in [class path]

我正在尝试执行此操作:

case class Person(name: String, age: Long)
val df = sparkSession.read.parquet("path").as[Person]
df.mapPartitions((iter: Iterator[Person]) => {
   //computations
})

我正在使用Spark 2.0 有人可以帮忙吗?

0 个答案:

没有答案