我有两个Kinesis流,我想创建第三个流,这是这两个流的交集。我的目标是让流处理器对生成的第三流上的事件做出响应,而不必编写执行此交集的使用者。
流上的记录为:
{
"customer_id": 3,
"first_name":"Marcy",
"last_name":"Shurtleff"
}
,流b 上的一条记录将是:
{
"payment_id": 10001,
"customer_id": 1,
"amount":234.56,
"date":"2018-09-07T10:25:43.511Z"
}
我想执行一个联接(就像在KSQL中使用Kafka一样),将联接流 a.customer_id 以流产生 b.customer_id ,结果是:>
{
"customer_id": 3,
"first_name":"Marcy",
"last_name":"Shurtleff",
"payment_id": 10001,
"amount":234.56,
"date":"2018-09-07T10:25:43.511Z"
}
(或我选择的任何类似sql的投影)。
我知道使用Kafka和KSQL可以实现,但是使用Kinesis可以实现吗?
Kinesis Data Analytics将无济于事,因为您不能在该产品中使用多个流作为数据源,并且只能对“应用程序内”流执行联接。