pyspark类路径包含多个SLF4J绑定cloudera

Question

我通过ssh connetction与cloudera服务器连接

当我运行我的pyspark代码时，我得到了：

SLF4J：类路径包含多个SLF4J绑定。 SLF4J：在[jar：file：/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/jars/slf4j-log4j12-1.7.5.jar！/ org / slf4j /中找到绑定IMPL / StaticLoggerBinder.class] SLF4J：在[jar：file：/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/jars/avro-tools-1.7.6-cdh5.4.7.jar中找到绑定！/组织/ SLF4J / IMPL / StaticLoggerBinder.class] SLF4J：有关解释，请参阅http://www.slf4j.org/codes.html#multiple_bindings。 SLF4J：实际绑定的类型为[org.slf4j.impl.Log4jLoggerFactory] ​​

火花版本是1.3.0

我对服务器没有任何意见，所以我无法像所有人所说的那样修改pom.xml

我可以做其他事情吗？

比你

Answer 1

这只是来自SLF4J日志记录引擎的警告，对您的spark会话没有任何影响。

您可以通过修改SPARK_DIST_CLASSPATH环境变量来摆脱它。它可能包含hadoop classpath与/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/jars/*的结果。如果将此通配符类路径替换为除了一个（avro-tools-1.7.6-cdh5.4.7.jar）之外的所有jar的列表，则警告将消失。