如何添加第三方库以在本地计算机上运行火花

Question

我正在收听eventhub流，并且看到了将库附加到集群（数据块）的文章，并且我的代码运行文件。

对于调试，我在本地计算机/集群上运行代码，但是由于缺少库而失败。在本地计算机上运行时如何添加库。

我尝试了sparkcontext.addfile（fullpathtojar），但仍然是相同的错误。

Answer 1

您可以使用spark-submit --packages

示例： spark-submit --packages org.postgresql：postgresql：42.1.1

您需要找到正在使用的软件包，并检查与spark的兼容性。

对于一个jar文件，您将改为使用spark-submit --jars。

Answer 2

我使用了spark-submit --packages {package}，它可以正常工作。