我应该如何处理Kafka数据?

时间:2017-02-17 11:40:42

标签: apache-kafka kafka-consumer-api apache-kafka-connect

我是卡夫卡的绝对新手。寻求专家意见。

使用Kafka Rest Proxy我正在写一个主题。数据采用JSON格式。

{
  "value": {
  "record_id": 12345,
  "record_val": "Kolkata"
  }
}

1000 / Sec JSON记录将插入主题。

我想有2名卡夫卡消费者。 在第一个消费者中,需要在主题中给定“record_id”的最新值。 任何给定时间主题由给定的JSON值组成。

{
  "value": {
  "record_id": 12345,
  "record_val": "Delhi"
  }
}

{
  "value": {
  "record_id": 12346,
  "record_val": "Durgapur"
  }
}

{
  "value": {
  "record_id": 12346,
  "record_val": "Kolkata"
  }
}
{
  "value": {
  "record_id": 12347,
  "record_val": "Blore"
  }
}
{
  "value": {
  "record_id": 12345,
  "record_val": "Mumbai"
  }
}

{
  "value": {
  "record_id": 12345,
  "record_val": "Kolkata"
  }
}

现在在消费者方面,我想得到任何给定的“record_id”的最新值,例如12345。所以结果应该是“加尔各答”。

对于第二个消费者,主题中给定“record_id”的所有值都是必需的。例如对于“record_id”12345,结果应为

"Kolkata"
"Mumbai"
"Delhi"

我该怎么办?

0 个答案:

没有答案