Question

我正在尝试根据条件将值从表的一列插入到另一表的多列。我已经准备好查询，但是它陷入了MapReduce阶段的80％

我正在使用配置单元1.1.0。目前，我在执行查询之前在下面进行设置

set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.dynamic.partition=true;
set parquet.compression=SNAPPY;
set hive.support.quoted.identifiers=none;
set mapreduce.map.speculative=false;
set mapreduce.reduce.speculative=false;
set hive.mapred.reduce.tasks.speculative.execution=false;
set mapreduce.map.memory.mb=15000;
set mapreduce.map.java.opts=-Xmx2400m;
set mapreduce.reduce.memory.mb=5000;
set mapreduce.reduce.java.opts=-Xmx2400m;
set mapreduce.input.fileinputformat.split.maxsize=1024000000;
set mapreduce.input.fileinputformat.split.minsize=1024000000;
set hive.exec.max.dynamic.partitions.pernode=1000;

请提供一些建议，以便在配置单元中完美运行此查询。

      select 
        IDENTIFICADOR_ID,
        ESTADO,
        FECHA_ESTADO,
        MUNICIPIO_ID,
        TIPO_ID,
        NOMBRE_COMPLETO,
        VALOR_PLAN_FACTURACION,
        VALOR_ESTADO_SERVICIO,
        VALOR_PAQUETE,
        VALOR_ACCESP,
        VALOR_TIPO_BANDA_ANCHA,
        VALOR_VELOCIDAD_ACCESO,
        descripcion_ltcar,
        DESCRIPCION_PLAN_OPEN,
        ESTADO_FNX_PLANES_FACTURACION,
        load_date from(
        select a.IDENTIFICADOR_ID,
        a.ESTADO,
        a.FECHA_ESTADO,
        a.MUNICIPIO_ID,
        b.TIPO_ID,
        b.NOMBRE_COMPLETO,
        a1.valor as VALOR_PLAN_FACTURACION,
        b1.valor as VALOR_ESTADO_SERVICIO,
        c1.valor as VALOR_PAQUETE,
        d1.valor as VALOR_ACCESP,
        e1.valor as VALOR_TIPO_BANDA_ANCHA,
        m1.valor as VALOR_VELOCIDAD_ACCESO,
        d.descripcion_ltcar,
        e.DESCRIPCION_PLAN_OPEN,
        e.estado as ESTADO_FNX_PLANES_FACTURACION,
        '2019-05-22' as load_date from 
        db_trusted_common_zone.FNX_IDENTIFICADORES_bs as a,db_trusted_common_zone.FNX_LISTAS_TCARACTERISTICAS_bs d 
       right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=2005)a1
on a1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=132 )b1 
on b1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=2879)c1
on c1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=2093)d1 
on d1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=120)e1 
on e1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=33)f1 
on f1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=4430)g1 
on g1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=2123)h1 
on h1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=4389)i1 
on i1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=201)j1 
on j1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=4388)k1 
on k1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=37)l1 
on l1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
right join  (select valor,IDENTIFICADOR_ID  
from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs where caracteristica_id=124)m1
    on m1.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID
        inner join db_trusted_common_zone.FNX_CLIENTES_bs as b
        on a.CLIENTE_ID=b.CLIENTE_ID
        inner join db_trusted_common_zone.FNX_PLANES_FACTURACION_bs as e
        on a.PRODUCTO_ID=e.PRODUCTO_ID
        and a.SERVICIO_ID=e.SERVICIO_ID
        and a.EMPRESA_ID=e.EMPRESA_ID
        and a.MUNICIPIO_ID=e.MUNICIPIO_ID
        where a.TIPO_ELEMENTO_ID in ('CUENTA','TELEV','TO')
        and d.caracteristica_id=124)t

Answer 1

表FNX_CONFIGURACIONES_IDENTIF_bs只能连接一次，且带有聚合的用例语句：

select 
    IDENTIFICADOR_ID,
    ESTADO,
    FECHA_ESTADO,
    MUNICIPIO_ID,
    TIPO_ID,
    NOMBRE_COMPLETO,
    VALOR_PLAN_FACTURACION,
    VALOR_ESTADO_SERVICIO,
    VALOR_PAQUETE,
    VALOR_ACCESP,
    VALOR_TIPO_BANDA_ANCHA,
    VALOR_VELOCIDAD_ACCESO,
    descripcion_ltcar,
    DESCRIPCION_PLAN_OPEN,
    ESTADO_FNX_PLANES_FACTURACION,
    load_date 
    from
    (
    select 
    a.IDENTIFICADOR_ID,
    a.ESTADO,
    a.FECHA_ESTADO,
    a.MUNICIPIO_ID,
    b.TIPO_ID,
    b.NOMBRE_COMPLETO,
    max(case when caracteristica_id=2005 then c.valor end) as VALOR_PLAN_FACTURACION,
    max(case when caracteristica_id=132  then c.valor end) as VALOR_ESTADO_SERVICIO,
    max(case when caracteristica_id=2879 then c.valor end) as VALOR_PAQUETE,
    max(case when caracteristica_id=2093 then c.valor end) as VALOR_ACCESP,
    max(case when caracteristica_id=120  then c.valor end) as VALOR_TIPO_BANDA_ANCHA,
    max(case when caracteristica_id=124  then c.valor end) as VALOR_VELOCIDAD_ACCESO,
    d.descripcion_ltcar,
    e.DESCRIPCION_PLAN_OPEN,
    e.estado as ESTADO_FNX_PLANES_FACTURACION,
    '2019-05-22' as load_date 
    from  db_trusted_common_zone.FNX_IDENTIFICADORES_bs as a, 
          db_trusted_common_zone.FNX_LISTAS_TCARACTERISTICAS_bs d --this join needs to be fixed, there is no ON condition. This is CROSS JOIN. It is acceptable if table d returns only one row
          inner join (select * from db_trusted_common_zone.FNX_CONFIGURACIONES_IDENTIF_bs c where caracteristica_id in (2005,132,2879,2093,120,124)) c on c.IDENTIFICADOR_ID =  a.IDENTIFICADOR_ID --join only one time with this table
          inner join db_trusted_common_zone.FNX_CLIENTES_bs as b on a.CLIENTE_ID=b.CLIENTE_ID
          inner join db_trusted_common_zone.FNX_PLANES_FACTURACION_bs as e on a.PRODUCTO_ID=e.PRODUCTO_ID
                                                                           and a.SERVICIO_ID=e.SERVICIO_ID
                                                                           and a.EMPRESA_ID=e.EMPRESA_ID
                                                                           and a.MUNICIPIO_ID=e.MUNICIPIO_ID
    where a.TIPO_ELEMENTO_ID in ('CUENTA','TELEV','TO')
      and d.caracteristica_id=124
    group by 
    a.IDENTIFICADOR_ID,
    a.ESTADO,
    a.FECHA_ESTADO,
    a.MUNICIPIO_ID,
    b.TIPO_ID,
    b.NOMBRE_COMPLETO,
    d.descripcion_ltcar,
    e.DESCRIPCION_PLAN_OPEN,
    e.estado as ESTADO_FNX_PLANES_FACTURACION
    )t

还需要修复与db_trusted_common_zone.FNX_LISTAS_TCARACTERISTICAS_bs的连接。 没有打开条件，可以作为交叉联接。

这些值也太高了：

set mapreduce.input.fileinputformat.split.maxsize=1024000000;
set mapreduce.input.fileinputformat.split.minsize=1024000000;

尝试减少x2甚至x4倍或更多，以增加parallelizm。

基于从源表的一列插入到目标表的多列中来优化查询

1 个答案: