Kafka映射消息（使用Java Spark）

Question

我有一个包含JSON的kafka主题，例如：

{"jsonCode":"1234", "jsonData":{.....}}
{"jsonCode":"1234", "jsonData":{.....}}
{"jsonCode":"1235", "jsonData":{.....}}
{"jsonCode":"1235", "jsonData":{.....}}
{"jsonCode":"1236", "jsonData":{.....}}

我的问题是我是否可以在从主题读取期间创建以下哈希图：

["1234", [list of jsonCode 1234 jsons]
["1235", [list of jsonCode 1235 jsons]
["1236", [list of jsonCode 1236 jsons]

有可能吗？我该如何进行映射？

我想使用SparkStreamming从Kafka中读取内容，以获取有关该主题的所有未读消息并创建哈希图

谢谢。

Answer 1

您的代码中是否有任何使用者配置设置。使用者配置通常需要键和值对。

在阅读主题时进行检查，您可以按键值对读取值。通常，您的消费者应该是这样的：

client request - PC1 -> load balancer - PC2 -> webserver1