KSQL Steam-table左联接部分(无提示)无法填充值

时间:2018-07-20 14:29:05

标签: apache-kafka ksql

我正在将流与表连接起来。连接的结果仅部分成功。某些值已准确填充,而其他值为空。我检查以确保表和流中都存在这些值,并且用于联接的列是两者的键。

我正在使用合流工具使用jdbc加载从MSSQL表中读取的主题。

然后我使用KSQL根据相应的主题创建流和表,并且数据全部为JSON格式。

表中丢失数据的时间戳早于流的时间戳。

create stream casecode_contract_stream as select ct.projectid, ct.casecode, cs.isTrue from contract_stream cs left join casecode_table ct on cs.projectid = ct.projectid;    

select * from casecode_contract_stream limit 1;
1532034321292 | 706083 | null | null | true

ksql> select * from casecode_contract_stream where casecode is not null limit 1;
1532034321292 | 705147 | 705147 | data1 | true

select * from casecode_table where projectid = 705147;
1532033878462 | 705147 | 705147 | data1 

select * from casecode_table where projectid = 706083;
1532033878463 | 706083 | 706083 | data2 

select * from contract_stream where projectid = 705147;
1532034321292 | 705147 | 705147 | true

select * from contract_stream where projectid = 706083;
1532034321292 | 706083 | 706083 | true

有什么建议吗?

1 个答案:

答案 0 :(得分:0)

结果取决于(不确定)处理顺序。这是一个已知问题,正在进行中,以使处理顺序更具确定性。

在将记录添加到表端之前,可能会处理来自流端的记录。对于这种情况,当您指定左连接时,流记录将以NULL连接。