AWS上的IIDR CDC Kafka

时间:2019-01-25 10:35:21

标签: amazon-web-services apache-kafka cdc ibm-infosphere

我们正在尝试将db2-IIDR(IBM CDC)数据形式发布到AWS上的Kafka。订阅由于以下错误而失败-

 An error occurred during the conversation with Kafka. 
    Error: org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for cdckafka-subsname-commitstream-0

是否有先决条件才能在AWS上将IIDR的流发布到Kafka?

更多详细信息-

-Kafka集群在AWS上运行

-IIDR CDC引擎->内部(源和目标)

-内部IP已列入白名单,我可以从本地ping / telnet端口到aws,反之亦然。

谢谢!

1 个答案:

答案 0 :(得分:1)

您需要使用可与外部客户端一起使用的侦听器来设置您的Kafka经纪人。您可以看到details here

仅从客户端本地ping到AWS是不够的-您需要使用kafkacat之类的Kafka客户端来验证它