fat-jar不能识别自定义类，但是$ SPARK_HOME / jars可以识别该自定义类。为什么？

Question

情况

• 在YARN群集上运行火花。
• 火花版本为2.4.0
• 具有自定义的火花指标接收器-custom-metrics.jar。接收器类名称为org.apache.spark.metrics.sink.CustomSink
  
• 通过sbt-assembly-custom-metrics
制作了我的spark工作和fat.jar所包含的胖子

我做了什么

1. 由于 ClassNotFoundException：org.apache.spark.metrics.sink.CustomSink ，我只尝试spark-submit就fat.jar停了下来。
2. 因此我用Google搜索并找到了将fat.jar复制到 $ SPARK_HOME / jars 的解决方案。 spark-submit成功了！

问题

有什么区别

• 使用胖子提交火花作业
• 在提交Spark作业之前将fat-jar复制到$ SPARK_HOME / jars