在EMR上配置Hive以在日志中包含完整查询文本

时间:2017-12-15 11:21:23

标签: amazon-web-services hive emr amazon-emr

我希望我的Hive日志包含完整的查询文本。以下是我的问题的描述。

我在Amazon EMR 5.9.0上运行Hive查询,其hive版本为2.3.0。

在我的聚合日志中,结构如下:

    Containers
        Application_someappid
            Conatiner_someid_00001 /*this would be the driver node*/
                syslog             /*logfile <-- this is what i looked in */
            Conatiner_someid_00002 /*executor*/
            Conatiner_someid_00003 /*executor*/
            Conatiner_someid_00004 /*executor*/

我通过Hue接口在Hive上运行的查询如下:

    select * from myschema.mytable where mytable.x = 'myvalue'

在我上面的代码部分提到的syslog文件中,我只能看到:

    container_1513263266006_0001_01_000001/syslog_dag_1513263266006_0001_1:2017-12-14 16:17:00,416 [INFO] [IPC Server handler 0 on 36535] |app.DAGAppMaster|: Running DAG: select * from myschema.mytab...=12(Stage-1), callerContext={ context=HIVE, callerType=HIVE_QUERY_ID, callerId=hive_20171214161645_7250360b-3b22-4b1c-a0df-0ce7c163a829 }

基本上,查询被截断:

    select * from myschema.mytab...

无论长度如何,都可以启用完整查询文本的记录。 是否有我可以设置的配置来实现此目的。

0 个答案:

没有答案