是否可以将Spark代码打包到没有主要功能的库中

Question

直到现在，我只使用Spark来编写带有主要功能的应用程序。但是我现在想做的是创建基于Spark的库（带有RDD / Dataframe操作和内容），然后可以从其他应用程序中调用它。可能吗？如果可以，怎么办？

Answer 1

是的，当然可以。例如，看看GraphFrames或Spark Packages的任何图书馆。