蜂巢可以创建一个临时表,以便我可以得到一个小表以进行进一步的查询吗?

时间:2019-03-21 08:59:45

标签: hive hiveql

我有一张桌子,架构如下:

 struct TBL{
   1:optional string category;
   2:optional string endpoint; 
   3:optional string priority; 
   4:optional i64 timestap;
   5:optional string traceId;   
   6:optional string rpcId;     
   7:optional string businessId;
   8:optional string message;   
   9:optional int date;    
}

我只关心8:optional string message; message字段为log

我有一个网址列表,其中一些网址可以在message字段中找到。我需要找到可以在表中找到的网址。在message字段中,URL始终带有"getRequestURL",例如

10.128.226.31,[INFO  2019-03-13 10:00:18.770] [resin-port-9300-44] [aaaLiMKyYK9bNbetoyhLw_-301570423] com.example.cashpay.filter.StaticFilter.doFilter(StaticFilter.java:99) [getRequestURL=http://www.example.com/merchant/deduct/query/v3]

表很大。 我想先过滤表格,说:

select message from TBL where message like '%getRequestURL%' and date ='20190319'

,然后我可以使用联合查询来找到上面过滤的表中的URL。 说:

    select 'com/res/doc/eula/help.html', count(1) from filtered_tbl where message like 'com/res/doc/eula/help.html'
    union
    select 'com/charge/bank/alipay_wap/', count(1) from filtered_tbl where message like 'com/charge/bank/'
    union
    select 'com/reductionActivity/queryRegisterStatus', count(1) from filtered_tbl where message like 'com/reductionActivity/queryRegisterStatus'
    union
    select 'com/charge/pushcmd', count(1) from filtered_tbl where message like 'com/charge/pushcmd'
union......

配置单元是否首先支持过滤器?如果支持,我该怎么办?

0 个答案:

没有答案