Question

我真的想使用OpsCenter 6.0.2将以下设置添加到我们的spark-defaults.conf中，以避免配置偏差。有没有办法将这些配置项添加到配置文件模板？

spark.cores.max 4
spark.driver.memory 2g
spark.executor.memory 4g
spark.python.worker.memory 2g

Answer 1

注意：正如Mike Lococo在此回答的评论中指出的那样 - 此答案可能会更新配置文件值，但不会会产生这些值被写入spark-defaults.conf。

以下不是解决方案！

你可以;您必须通过LCM配置文件API（https://docs.datastax.com/en/opscenter/6.0/api/docs/lcm_config_profile.html#lcm-config-profile）更新配置文件。

首先，确定需要更新的配置文件：

$ curl http://localhost:8888/api/v1/lcm/config_profiles

获取需要更新的特定配置文件的href，请求它，并将响应主体保存到文件中：

$ curl http://localhost:8888/api/v1/lcm/config_profiles/026fe8e3-0bb8-49c1-9888-8187b1624375 > profile.json

现在，在您刚刚保存到的profile.json文件中，您可以在json > spark-defaults-conf添加或修改密钥以包含以下密钥：

"spark-defaults-conf": {
  "spark-cores-max": 4,
  "spark-python-worker-memory": "2g",
  "spark-ssl-enabled": false,
  "spark-drivers-memory": "2g",
  "spark-executor-memory": "4g" 
}

保存更新后的profile.json。最后，使用编辑后的文件作为请求数据执行HTTP PUT到同一个配置文件URL：

$ curl -X PUT http://localhost:8888/api/v1/lcm/config_profiles/026fe8e3-0bb8-49c1-9888-8187b1624375 -d @profile.json

有没有办法在OpsCenter 6.0.2 Lifecycle Manager配置文件中添加其他可配置设置？

1 个答案: