我正在使用ElasticSearch Spark Jar。但出于某些原因，当我启动sparkcontext时，它还会从
中拾取弹性蜂巢罐/usr/lib/hive/lib/elasticsearch-hadoop-hive-2.1.0.jar
这导致两个冲突的弹性问题。
有没有人知道Jar如何进入Spark以及如何在启动上下文之前将其从spark类路径中删除？
谢谢。
答案 0 :(得分：2)
事实证明这是加载该目录的conf / spark-env.sh中的默认配置。通过使用您想要的罐子加载不同的文件夹而不是您不想要的罐子，可以轻松解决这个问题。 所以不要这样：
SPARK_DIST_CLASSPATH = “$ SPARK_DIST_CLASSPATH：/ usr / lib中/蜂巢/ lib中/ *”
这样可行：
SPARK_DIST_CLASSPATH = “$ SPARK_DIST_CLASSPATH：/ usr / lib中/蜂巢/ LIB /火花/ *”
假设您将相关的jar复制到该文件夹