将表单2.2.1升级到2.3

Question

我们有使用 spark.jars.ivySettings 来定制jar分辨率的spark配置。 Spark作业在没有Internet访问的环境中运行，因此我们希望跳过maven中央调用并使用我们的存储库。

在spark 2.2.1中，一切正常，但是当我们升级到2.3时，常春藤设置中指定的存储库将被忽略。结果我们的工作由于缺少依赖性而失败。

使用新的 spark.jars.repositories 指定我们的repos使其可见spark，但不会更改订单（因此它将始终首先检查maven central，我们不允许）。

这是新版本中引入的一些错误吗？或者我在这里做错了什么？

Answer 1

好的，我发现了问题所在。显然，获取 spark.jars.ivySettings 的方式在2.3中有所改变。现在系统属性用于：

sys.props.get("spark.jars.ivySettings")

此更改后面没有文档更新，对我来说这似乎是一个错误。