SLF4J:无法在Scala IDE中加载类“org.slf4j.impl.StaticLoggerBinder”

时间:2017-04-25 10:11:37

标签: eclipse scala apache-spark

我正在开发一个scala代码来读取ascii分隔文件并创建Parquet输出文件。 以下是我的代码

val FileDF = spark.read
    .option("sep",delimiter) 
    .schema(FinalSchema)
    .csv(inputfilepath)

val FileDF = datasetnew.withColumn("ColFileName", lit(filename))

val query = dataframefinal.write
    .mode("overwrite")
    .format("parquet")
    .save(outputfilepath)

当我运行上面的代码时,我得到了

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

在Eclipse中,至少会生成输出,而在putty中,当我在集群模式下使用spark-submit运行时,sp​​ark job失败而没有任何输出。

0 个答案:

没有答案