在K8上运行Spark作业时，无法从JFrog Artifactory回购中提取jar文件

Question

我试图在Kubernetes集群上运行spark作业，但是由于找不到类异常而失败。我感觉到的原因是它无法从JFrog Artifactory存储库中提取jar文件。有什么建议可以解决吗？

我们可以在spark提交参数中包含某些内容吗？还是可以创建密码文件？

Answer 1

您没有提到在本地测试您的工作时如何确保如何拉动罐子，或者您尚未进行测试。根据{{​​3}}：

  

Spark使用以下URL方案来允许不同的策略来传播jar：   hdfs：，http：，https：和ftp：-这些文件会按预期从URI下拉文件和JAR

并且：

  

通过提供带有--packages的Maven坐标的逗号分隔列表，用户还可以包括任何其他依赖项。使用此命令时，将处理所有传递依赖项。可以以逗号分隔的方式添加其他存储库（或SBT中的解析器），并带有--repositories标志。 （请注意，在某些情况下，可以在存储库URI中提供受密码保护的存储库的凭据，例如在Advanced Dependency Management中。...以这种方式提供凭据时要小心。）

如果您是Jfrog repo或Jar文件，则需要凭据，看起来您将必须在URL中传递凭据：https://user:password@host/...