使用Scala中的Apache Spark在S3中编写镶木地板文件时出错

Question

我正在使用databricks运行我的spark集群（On-demand / Spark 1.6.0（Hadoop 1）），并使用scala笔记本。

我第一次尝试使用scala在我的S3存储桶中创建一个镶木地板文件时抛出这个错误：

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

但是当我检查我的存储桶时，文件就在那里，如果我再次运行具有相同代码的单元格，工作正常，似乎第一次运行总是失败。

这是我的代码：

data_frame.write.mode("append").partitionBy("date").parquet("s3n://...")

Answer 1

在评论中解决：

这不是一个例外，它与log4j的配置有关。这不应该是一个问题。 - Yuval Itzchakov