Question

以下是我们正在使用的版本。

kafka - 2.10-0.8.2.2 水槽 - 1.7.0 zookeeper - 3.4.6

当我们尝试从Oracle数据库中逐步下载数据时，我不断收到以下错误

(kafka-producer-network-thread | producer-1) [ERROR - 
org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)] 
Uncaught error in kafka producer I/O thread:
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException
    at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
    at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:439)
    at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265)
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:216)
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128)
    at java.lang.Thread.run(Thread.java:745)

以下是我的Flume配置

agent.channels.ch1.capacity = 100000
agent.channels.ch1.transactionCapacity=10000
agent.sources.sql-source.incremental.column.name =  customer_id
agent.sources.sql-source.incremental.value =  1000
agent.sinks.kafkaSink.kafka.topic=customer_topic
agent.sinks.kafkaSink.channel=ch1
agent.sinks.kafkaSink.flumeBatchSize=1000
agent.sinks.kafkaSink.kafka.producer.acks=1

在此论坛中搜索该错误消息时，许多人指的是某些版本不匹配。我不确定是哪个服务器版本。我们无法轻易更改版本。是否有一些（解决方法）可用于对Kafka主题工作进行增量摄取。

此致

巴拉

Answer 1

Flume 1.7.0用户指南：“这是一个可以将数据发布到Kafka主题的Flume Sink实现。其中一个目标是将Flume与Kafka集成，以便基于拉的处理系统可以处理来自各种Flume的数据来源。目前支持Kafka 0.9.x系列版本。

这个版本的Flume不再支持Kafka的旧版本（0.8.x）。“

Kafka - Flume - Oracle数据库 - 阅读字段错误＆＃39; throttle_time_ms＆＃39;

1 个答案: