我正在尝试在用户案例类的数据集上运行地图分区。 在当地的盒子上工作正常,但是当我在纱线集群上运行时,我得到例外:
scala.ScalaReflectionException: Person in JavaMirror with sun.misc.Launcher$AppClassLoader@1761e840 of type class sun.misc.Launcher$AppClassLoader in [class path]
我正在尝试执行此操作:
case class Person(name: String, age: Long)
val df = sparkSession.read.parquet("path").as[Person]
df.mapPartitions((iter: Iterator[Person]) => {
//computations
})
我正在使用Spark 2.0 有人可以帮忙吗?