我正在尝试在Mesos中的Spark群集设置上运行作业。如果我将jar复制到服务器然后使用file:
URL,我可以运行一个工作,但是我无法使用https:
来下载jar。每次我在stderr文件中得到以下错误。
I0226 00:11:05.618361 22652 logging.cpp:172] INFO level logging started!
I0226 00:11:05.618552 22652 fetcher.cpp:409] Fetcher Info: ...
I0226 00:11:05.619721 22652 fetcher.cpp:364] Fetching URI 'https://jenkins.company.com/nexus/...
I0226 00:11:05.619738 22652 fetcher.cpp:238] Fetching directly into the sandbox directory
I0226 00:11:05.619751 22652 fetcher.cpp:176] Fetching URI 'https://jenkins.company.com/nexus/...
I0226 00:11:05.619762 22652 fetcher.cpp:126] Downloading resource from 'https://jenkins.company.com/nexus/...
Failed to fetch 'https://jenkins.company.com/nexus/... ': Error downloading resource: SSL connect error
Failed to synchronize with slave (it's probably exited)
我可以使用wget
从指定的URL下载jar。我还验证了服务器上的JDK有正确的nexus服务器证书,我试图从中下载jar。
我是Spark和Mesos的新手,我们将非常感谢您解决此问题的任何帮助。
答案 0 :(得分:0)
您是否在应用程序启动时指定了带有--repository
标志的私有Nexus存储库?
我个人从不和Spark一起使用加密,但是从文档来看,它似乎有可能/有必要在Spark中配置它。我想只是因为SDK还不够。
见