使用Apache Kafka 0.10.0 API和Java

时间:2016-08-04 05:43:29

标签: java apache-kafka kafka-python

我想使用Kafka 0.10 API创建一个代理群集,最好使用Java。据我所知,kafka_2.11-0.10.0.0.jar支持使用以下方式创建代理:

import kafka.cluster.Broker;
import kafka.cluster.Cluster; 

但我找不到任何相关文件。我最近阅读了[1],其中讲述了如何使用Kafka API中的Java创建主题。我们可以对创建代理群集,更新分区,将现有数据/分区迁移到新代理执行类似操作(因为这些新代理不会自动分配任何数据分区,因此除非将分区移动到它们将不会做任何工作[2])

[1] How Can we create a topic in Kafka from the IDE using API

[2] https://kafka.apache.org/0100/ops.html#basic_ops_cluster_expansion

1 个答案:

答案 0 :(得分:0)

我有一些您可能会觉得有用的示例代码。

要创建经纪人,请查看https://regex101.com/r/xF7uM9/1。它实际上是为了更简单的测试,所以它不会创建一个集群,只是一个代理,但它应该不难扩展。

一旦我能够在测试服务器中创建/查询/删除主题,我创建了一个独立的管理客户端,用于对其他服务器执行相同操作,因此,如果您已经在创建代理群集,那么您应该能够使用代码来维护它的主题。看看KafkaTestServer

管理客户端基本上是scala kafka.admin.AdminUtils 类的纯java包装器,因此它处理所有scala< - >封面下的java转换。