我是卡夫卡的绝对新手。寻求专家意见。
使用Kafka Rest Proxy我正在写一个主题。数据采用JSON格式。
{
"value": {
"record_id": 12345,
"record_val": "Kolkata"
}
}
1000 / Sec JSON记录将插入主题。
我想有2名卡夫卡消费者。 在第一个消费者中,需要在主题中给定“record_id”的最新值。 任何给定时间主题由给定的JSON值组成。
{
"value": {
"record_id": 12345,
"record_val": "Delhi"
}
}
{
"value": {
"record_id": 12346,
"record_val": "Durgapur"
}
}
{
"value": {
"record_id": 12346,
"record_val": "Kolkata"
}
}
{
"value": {
"record_id": 12347,
"record_val": "Blore"
}
}
{
"value": {
"record_id": 12345,
"record_val": "Mumbai"
}
}
{
"value": {
"record_id": 12345,
"record_val": "Kolkata"
}
}
现在在消费者方面,我想得到任何给定的“record_id”的最新值,例如12345。所以结果应该是“加尔各答”。
对于第二个消费者,主题中给定“record_id”的所有值都是必需的。例如对于“record_id”12345,结果应为
"Kolkata"
"Mumbai"
"Delhi"
我该怎么办?