从火花构建中排除hadoop

Question

我正在修改hadoop里面的hdfs模块，并希望看到反射，而我在它上面运行spark，但我仍然看到本机的hadoop行为。我已经检查过并看到Spark正在构建一个非常胖的jar文件，其中包含所有hadoop类（使用maven中定义的hadoop配置文件），并将其部署在所有工作者上。我也试过bigtop-dist，排除hadoop类但看不到效果。

是否可以轻松地执行此类操作，例如在maven文件中进行少量修改？

Answer 1

我相信你正在寻找maven工件的provided范围。它允许您在打包时排除某些类，同时允许您针对它们进行编译（期望您的运行时环境将以正确的相应版本提供它们）。有关进一步的讨论，请参阅here和here。