Spark提交oozie

时间:2017-06-10 15:31:30

标签: apache-spark oozie

我写了一个火花代码 -

customDF.registerTempTable("customTable")
var query = "select date, id ts,errorode from customTable"
val finalCustomDF = hiveContext.sql(query)     
finalCustomDF.write.format("com.databricks.spark.csv").save("/user/oozie/data")

当我使用spark submit运行此代码时,它运行正常,但是当我使用oozie coordinator运行它时。我得到以下例外。

User class threw exception: org.apache.spark.sql.AnalysisException: character '<EOF>' not supported here; line 1 pos 111 

我尝试从现有的hive表中读取数据,但问题是使用customTable。

0 个答案:

没有答案