批处理操作员优化达到最大迭代次数(100)

时间:2019-02-26 10:10:54

标签: apache-spark apache-spark-sql

在运行大量Spark SQL查询时出现此错误。查询中有很多联接,这主要是我在下面收到错误的原因:

WARN internal.BaseSessionStateBuilder$$anon$2: Max iterations (100) reached for batch Operator Optimizations

spark.sql.optimizer.maxIterations 300

我尝试通过将MaxIterations参数增加到300来设置它,但是仍然出现相同的错误。

任何建议都会很有帮助。

0 个答案:

没有答案