当列的字符串不完全匹配时插入数据库列

时间:2017-10-20 17:25:12

标签: sql bigdata

我有一个大数据库(DatabaseA),每个部分有1.2亿行(数十亿和数十亿行)。每个部分和每行(120M),我需要在DatabaseB上找到DatabaseB上的实例(~10000行)。根本问题是我没有看到使用SQL这么简单有效的方法。    原因如下:两列上的列B完全匹配,但是列A没有特定的顺序或逻辑。我知道的唯一一件事就是DatabaseB上的A列包含在DatabaseA的A列上 我的数据库专家希望用SQL来做,但是考虑到行数,我认为这不会起作用。有解决方案吗建议?非常感谢

    DatabaseA                                     DatabaseB 
ColumnA                        ColumnB         ColumnA           Column B
ttttttxdc/abbbbb/sssh/dddef    DXXXXA         sssh/dddef              DXXXXA
cccdft/ddd/sssh/dddef/xxxx      DXXXXA         sssh/dddef             DXXXXA
sssh/ddd/xxxx                   DXXXXB         sssh/ddd               DXXXXB
Vvvv/aaa/bbbb/dccc/tttt        DXXXXB           aaa/bbbb/tttt         DXXXXB
Vvvv/xxx/bbbb/rrrr/tttt        DXXXXB                         

预期输出

输出

DBA                                   DBB   
ColumnA                        ColumnB         ColumnC           Result
ttttttxdc/abbbbb/sssh/dddef    DXXXXA         sssh/dddef           matched   
cccdft/ddd/sssh/dddef/xxxx      DXXXXA          sssh/dddef             matched
sssh/ddd/xxxx                   DXXXXB         sssh/ddd               matched
Vvvv/aaa/bbbb/dccc/tttt        DXXXXB           aaa/bbbb/tttt         matched
Vvvv/xxx/bbbb/rrrr/tttt        DXXXXB                           unmatched

0 个答案:

没有答案