我们有一个运行的spark命令,但我们正面临一些磁盘空间问题 所以我们想用
conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-
percentage=99.0
但我们在日志中得到Warning: Ignoring non-spark config property: yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage=99.0
我们如何得到它以便火花采取这种配置
""Spark_Command": "command-runner.jar,spark-submit,
--class,com.go.ccc.ew.modules.fred.fmodel,
--name,\\\"f module Module\\\",
--master,yarn,
--deploy-mode,client,
--executor-memory,36G,
--executor-cores,4,
--conf,spark.sql.shuffle.partitions=640,
--conf,spark.yarn.am.memoryOverhead=5120,
--conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-
percentage=99.0,/home/hadoop/linking.jar,jobId=#
{myJobId},environment=dev"
答案 0 :(得分:0)
特定属性位于yarn-site.xml中,而不是aspark相关属性。
您必须在纱线中设置此属性并重新启动纱线。然后你可以提交这份工作。
header('charset = utf8')
或者你可以用更高的音量来引导它。
我已经研究了一些关于动态改变纱线配置的方法。
但纱线是群集级属性。
因此无法针对不同的应用程序动态更改。如果您找到解决方案,请发布。它非常有趣。