为Kafka编译自定义生成器

时间:2015-07-14 19:30:34

标签: java build sbt apache-kafka

我从https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1.1/kafka_2.8.0-0.8.1.1.tgz下载了Kafka,并使用VM在我的计算机上设置了kafka群集。集群工作正常 - 它使用随kafka软件包提供的控制台生产者和消费者进行测试。

现在,我已经为Kafka实现了一个自定义的Producer类。但我无法弄清楚如何编译这个类以及依赖是什么。

问题

  • 有人可以解释我如何获取Producer的依赖项,构建类并运行它吗?

  • 我是否需要sbt来构建它?我找不到任何明确解释如何建立自定义kafka制作类的在线资源。

以下是在Producer类中导入的包:

org.apache.kafka.clients.producer.Callback;
org.apache.kafka.clients.producer.KafkaProducer;
org.apache.kafka.clients.producer.ProducerConfig;
org.apache.kafka.clients.producer.ProducerRecord;
org.apache.kafka.clients.producer.RecordMetadata;
org.apache.kafka.common.record.Records

提前致谢

1 个答案:

答案 0 :(得分:1)

我开发了一个自定义Kafka生产者,作为Maven项目,我使用的依赖是:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.8.2.0</version>
</dependency>

我使用的进口商品:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.ByteArraySerializer;
import org.apache.kafka.common.serialization.StringSerializer;

我的生产者消息的片段发送代码:

Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, zkConnection);
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, ByteArraySerializer.class);

byte[] byteData = null;
File myInputFile = new File(...);
try (InputStream inputStream = new FileInputStream(myInputFile)) {
    byteData = IOUtils.toByteArray(inputStream);
}

try (KafkaProducer<String, byte[]> producer = new KafkaProducer<String, byte[]>(props)) {
    producer.send(new ProducerRecord<String, byte[]>(topic, byteData));
}