用于错误主题的kafka用例

时间:2018-06-14 12:07:19

标签: apache-kafka kafka-consumer-api kafka-producer-api apache-kafka-streams

我试图建立管道,我意识到我不知道为什么会出现错误以及为什么会出现错误主题。有些元数据我会依赖于某些值,但除此之外,还有什么是"典型的"卡夫卡错误?我不确定" typcial" kafka错误主题用于。这特别适用于流应用程序。谢谢你的帮助。

1 个答案:

答案 0 :(得分:0)

流式传输环境中的错误主题的一个示例是它包含未能遵守其合同的消息。示例:如果您的传入事件是以某种json格式,您的spark应用程序将首先尝试将事件解析为适合事件json契约的类。

如果格式正确,则会对其进行解析并继续应用。

如果格式不正确,则解析失败,并将json字符串发送到错误主题。

其他用例可能是将事件发送回错误主题以便稍后处理..即连接到其他服务的网络问题。