Question

我需要通过将地址字段与类似街道的单词列表进行比较来识别具有有效地址的记录。

所以代码看起来像：

set street_list = 'STREET', 'ROAD', 'AVENUE', 'DRIVE', 'WAY', 'PLACE' (etc.)
; 

create table [new table] as 
select * 
from [source table] 
where [address line 1] (contains any word from STREET_LIST) or 
      [address line 2] (contains any word from STREET_LIST) or 
      [address line 3] (contains any word from STREET_LIST)
;

这可能吗？

使用LostReality的正则表达式建议，我得出的结论是：

select * 
from [source table]
where upper([address line 1]) regexp '.* STREET.*|.* ST.*|.* ROAD.*|.* RD.*|.* CLOSE.*|.* LANE.*|.* LA.*|.* AVENUE.*|.* AVE.*|.* DRIVE.*|.* DR.*|.* HOUSE.*|.* WAY.*|.* PLACE.*|.* SQUARE.*|.* WALK.*|.* GROVE.*|.* GREEN.*|.* PARK.*|.* PK.*|.* CRESCENT.*|.* TERRACE.*|.* PARADE.*|.* GARDEN.*|.* GARDENS.*|.* COURT.*|.* COTTAGES.*|.* COTTAGE.*|.* MEWS.*|.* ESTATE.*|.* RISE.*|.* FARM.*' 
;

，它似乎有效。

但是我有两个小问题：

1）我如何在多行中写正则表达式，以便于阅读？

2）有什么方法可以将该正则表达式放入宏变量中，因为我要检查5条地址行，并且我不希望有5个相同表达式的副本。

谢谢

Answer 1

Hive解决方案。您可以将regexp模式放在变量中，也可以使用宏来固定模板：

set hivevar:street_list ='STREET|ST|ROAD|RD|CLOSE|LANE|LA|AVENUE|AVE|DRIVE|DR|HOUSE|WAY|PLACE|SQUARE|WALK|GROVE|GREEN|PARK|PK|CRESCENT|TERRACE|PARADE|GARDEN|GARDENS|COURT|COTTAGES|COTTAGE|MEWS|ESTATE|RISE|FARM';

--boolean macro for using in the WHERE
create temporary macro contains_word(s string) (upper(s) rlike ${hivevar:street_list} ) ;

with some_table as ( --use your table instead of this synthetic example
select stack(2,'some string containing STREET and WALK',
               'some string containing something else') as str
) --use your table instead of this synthetic example

--use macro in your query
select str from some_table 
 where contains_word(str);

结果：

OK
some string containing STREET and WALK
Time taken: 0.229 seconds, Fetched: 1 row(s)

使用OR就像在您的问题中一样：

where contains_word(address_line_1) OR contains_word(address_line_2) ...

希望你有主意

搜索另一个字符串中的任何字符串列表

1 个答案: