我正在开发一个scala代码来读取ascii分隔文件并创建Parquet输出文件。 以下是我的代码
val FileDF = spark.read
.option("sep",delimiter)
.schema(FinalSchema)
.csv(inputfilepath)
val FileDF = datasetnew.withColumn("ColFileName", lit(filename))
val query = dataframefinal.write
.mode("overwrite")
.format("parquet")
.save(outputfilepath)
当我运行上面的代码时,我得到了
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
在Eclipse中,至少会生成输出,而在putty中,当我在集群模式下使用spark-submit运行时,spark job失败而没有任何输出。