如何通过FUNC使用地图资源覆盖DataFrame?

时间:2016-10-14 03:18:12

标签: scala apache-spark-sql

我想使用FUNC从HDFS映射行数据,然后覆盖到DataFrame,但它不起作用。请尽快帮助我。 例如:

case class Kof(UID: String, SITEID: String, MANAGERID: String, ROLES: String, EXTERNALURL: String, EXTERNALID: String, OPTION1: String,
           OPTION2: String, OPTION3: String
          )

  def GetData(argv1: Array[String]): Kof =
  {
   return Kof(argv1(0), argv1(1),argv1(2), argv1(3),argv1(4), 
   argv1(5),argv1(6), argv1(7),argv1(8)) }


val textFile2 = sc.textFile("hdfs://hadoop-s3:8020/tmp/mefang/modify.txt").
                map(_.split(",")).map(p => {GetData(p)})**toDF** <!-here it break error ->

线程“main”中的异常org.apache.spark.SparkException:任务不可序列化

0 个答案:

没有答案