如何在OLP中覆盖Spark Conf

Question

如何使用以下标志在OLP中运行Spark作业？

--conf spark.driver.userClassPathFirst=true
--conf spark.executor.userClassPathFirst=true

Answer 1

OLP当前不支持设置自定义Spark属性。如果遇到依赖冲突（通常是触发此问题的原因），则需要找到另一种方法来解决它们，例如着色（在构建部署的胖子时）。

Answer 2

使用阴影罐子确实有帮助，是的，这是一个依赖项，因为我使用的是更高版本的commons lib。

我不得不将commons lib依赖项放在任何其他冲突依赖项之前，以防万一其他人遇到此问题，他们可以尝试解决冲突。