我在 databricks notebook 中使用 spark sql,它的查询很长。它抛出以下错误
org.apache.spark.sql.catalyst.errors.package$TreeNodeException: 已达到批处理分辨率的最大迭代次数 (100),请将“spark.sql.analyzer.maxIterations”设置为更大的值。
我设置了
spark.conf.set("spark.sql.optimizer.maxIterations",200); spark.conf.set("spark.sql.analyzer.maxIterations",200);
基于我也尝试过的一些 stackoverflow 建议
spark.sql("设置 spark.sql.optimizer.maxIterations = 200"); spark.sql("设置 spark.sql.analyzer.maxIterations = 200");
它不起作用。对此的任何帮助表示赞赏。