加入Kinesis Streams

时间:2018-09-07 13:38:28

标签: amazon-web-services join amazon-kinesis

我有两个Kinesis流,我想创建第三个流,这是这两个流的交集。我的目标是让流处理器对生成的第三流上的事件做出响应,而不必编写执行此交集的使用者。

上的记录为:

{
    "customer_id": 3,
    "first_name":"Marcy",
    "last_name":"Shurtleff"
}

流b 上的一条记录将是:

{
    "payment_id": 10001,
    "customer_id": 1,
    "amount":234.56,
    "date":"2018-09-07T10:25:43.511Z"

}

我想执行一个联接(就像在KSQL中使用Kafka一样),将联接流 a.customer_id 以流产生 b.customer_id ,结果是:

{
    "customer_id": 3,
    "first_name":"Marcy",
    "last_name":"Shurtleff",
    "payment_id": 10001,
    "amount":234.56,
    "date":"2018-09-07T10:25:43.511Z"
}

(或我选择的任何类似sql的投影)。

我知道使用Kafka和KSQL可以实现,但是使用Kinesis可以实现吗?

Kinesis Data Analytics将无济于事,因为您不能在该产品中使用多个流作为数据源,并且只能对“应用程序内”流执行联接。

0 个答案:

没有答案