我正在使用Powershell创建HD Insight Spark群集，我想在使用脚本操作创建群集后配置Spark和Hive配置。我想要设置的配置值是
spark.yarn.maxAppAttempts=1
spark.yarn.executor.memoryOverhead = 1152
hive.merge.orcfile.stripe.level = false
请注意，我不想使用Ambari用户界面来设置我想使用脚本操作的值。
答案 0 :(得分：0)
见https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-linux。
您也可以使用bootstrap。见https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrap
答案 1 :(得分：0)
为了更新hive.merge.orcfile.stripe.level，您可以使用像https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrap这样的引导脚本。 如果你想更新spark params你有至少3个选项。首先，当你提交spark应用程序时，这些参数可以通过。其次，您可以使用Ambari UI更新它，如下所述： https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-resource-manager 第三，你可以使用脚本操作更新spark-defaults.conf，或者只是通过ssh更新头节点并更新这个文件。