在运行大量Spark SQL查询时出现此错误。查询中有很多联接,这主要是我在下面收到错误的原因:
WARN internal.BaseSessionStateBuilder$$anon$2: Max iterations (100) reached for batch Operator Optimizations
spark.sql.optimizer.maxIterations 300
我尝试通过将MaxIterations参数增加到300来设置它,但是仍然出现相同的错误。
任何建议都会很有帮助。