我正在写一个Spark-shell脚本,由于某种原因,我被告知不要以jar格式提供代码,而不仅仅是一个简单的spark scala shell脚本。
我的应用程序将专注于阅读kafka流来激发。但由于Kafka流不是火花的一部分,我需要在提交spark-submit时提供kafka流依赖jar。
我在IntellijIDEA IDE中编写了Spark脚本。我还有一些其他依赖项,这些依赖项在IDE的“外部库”部分下可见。
现在我如何从“外部库”中创建一个依赖jar,以便在提交我的spark脚本时提供它?