如何关闭Apache Spark 2中生成代码的日志记录?

时间:2017-02-24 19:16:24

标签: scala apache-spark

我最近将项目升级到Apache Spark 2.1.0。

代码生成功能将生成的代码内容写入标准输出。例如:

// Class file version = 49.0 (J2SE 5.0)

package org.apache.spark.sql.catalyst.expressions;

public class GeneratedClass extends codegen.GeneratedClass {

// Enclosing/enclosed types:
//   GeneratedClass { final class GeneratedClass$GeneratedIterator }

public Object generate(Object[] p1) {
    new             GeneratedClass$GeneratedIterator
    dup            
    aload           [this]
    aload           [Object[] p1]
    invokespecial   GeneratedClass$GeneratedIterator(GeneratedClass, Object[])
    areturn        
}

虽然我已找到启用/禁用代码生成的选项spark.sql.codegen.wholeStage,但我还没有找到任何选项来关闭生成代码的输出。

这是通过火花选项控制的吗?记录配置?

1 个答案:

答案 0 :(得分:0)

import org.slf4j.LoggerFactory;
import ch.qos.logback.classic.Level;
import ch.qos.logback.classic.Logger;

Logger root = (Logger)LoggerFactory.getLogger(Logger.ROOT_LOGGER_NAME);
root.setLevel(Level.INFO);