SPARK:达到执行者失败的最大数量(3)

时间:2017-01-13 07:41:29

标签: scala apache-spark apache-spark-sql

我在Spark SQL中调用函数时遇到上述错误。我在不同的scala文件中编写函数并调用另一个scala文件。

Ex:Function.Scala

object Utils extends Serializable {
  
  
  def Formater (d:String):java.sql.Date =
  {
    
    
    val df=new SimpleDateFormat("yyyy-MM-dd")
    val newFormat=df.format(d)
    val dat= java.sql.Date.valueOf(newFormat)
    
    return dat 
    
    
  }
  
}

我在另一个scala文件中调用上面的函数。

注册UDF:

sqlContext.udf.register(“Formater”,(s:String)=> Utils.Formater(s))

并在此处使用: -

val startdate =sqlContext.sql("select  dateFormater(parameterValue) from Table").show()

如果删除上述功能,代码运行时没有任何问题,如果我包含它会给我带来上述错误。

0 个答案:

没有答案