Question

我从教程中创建了示例Kafka Streams应用程序：

    public static void main(String[] args) throws Exception {
    Logger log = Logger.getLogger("Name");

    Properties props = new Properties();
    props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-wordprint");
    props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.99.100:9092");
    props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
    props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

    final KStreamBuilder builder = new KStreamBuilder();
    builder.stream("onecon_postgres").print();

    final KafkaStreams streams = new KafkaStreams(builder, props);
    final CountDownLatch latch = new CountDownLatch(1);

    // attach shutdown handler to catch control-c
    Runtime.getRuntime().addShutdownHook(new Thread("streams-shutdown-hook") {
        @Override
        public void run() {
            streams.close();
            latch.countDown();
        }
    });

    try {
        streams.start();
        log.info("After Start");
        latch.await();
    } catch (Throwable e) {
        System.exit(1);
    }
    System.exit(0);
    }

不幸的是，此应用程序不读取输入流。我有一个来自PostgreSQL的JDBC源连接器，它可以从一个数据库中处理精细的流数据（我可以在本主题中看到Kafka Connect UI数据）。

我遇到的问题是即使我在 BOOTSTRAP_SERVERS_CONFIG 中更改了IP，但IP localhost 我不知道原因。

[main] INFO org.apache.kafka.streams.StreamsConfig - StreamsConfig values: 
    application.id = streams-linesplit
    application.server = 
    **bootstrap.servers = [localhost:9092]**
    buffered.records.per.partition = 1000
    cache.max.bytes.buffering = 10485760
    client.id = 
    commit.interval.ms = 30000
    connections.max.idle.ms = 540000
    default.key.serde = class org.apache.kafka.common.serialization.Serdes$StringSerde
    default.timestamp.extractor = class org.apache.kafka.streams.processor.FailOnInvalidTimestamp
    default.value.serde = class org.apache.kafka.common.serialization.Serdes$StringSerde
    key.serde = null
    metadata.max.age.ms = 300000
    metric.reporters = []
    metrics.num.samples = 2
    metrics.recording.level = INFO
    metrics.sample.window.ms = 30000
    num.standby.replicas = 0
    num.stream.threads = 1
    partition.grouper = class org.apache.kafka.streams.processor.DefaultPartitionGrouper
    poll.ms = 100
    processing.guarantee = at_least_once
    receive.buffer.bytes = 32768
    reconnect.backoff.max.ms = 1000
    reconnect.backoff.ms = 50
    replication.factor = 1
    request.timeout.ms = 40000
    retry.backoff.ms = 100
    rocksdb.config.setter = null
    security.protocol = PLAINTEXT
    send.buffer.bytes = 131072
    state.cleanup.delay.ms = 600000
    state.dir = /tmp/kafka-streams
    timestamp.extractor = null
    value.serde = null
    windowstore.changelog.additional.retention.ms = 86400000
    zookeeper.connect =

为了解决这个问题，我使用了netsh来转发流量，但我看不到这个应用程序消耗我的流。

netsh interface portproxy add v4tov4 listenport=9092 listenaddress=127.0.0.1 connectport=9092 connectaddress=192.168.99.100

Answer 1

不幸的是，这个应用程序不会读取输入流。

您的Kafka Streams应用程序与Kafka代理之间似乎存在网络问题。 “Kafka Streams不起作用”的可能性不大。

此外，如果没有您提供更多信息，很难帮助您：

您的Kafka经纪人使用什么Kafka版本？
您的应用程序使用什么Kafka（Streams）版本？
哪个操作系统？
什么是网络设置？
- 运行应用程序的计算机的IP地址。
- 您的Kafka经纪人（或经纪人）在哪个IP +端口上侦听新连接？是192.168.99.100:9092吗？
您在应用程序的日志中看到了什么？您是否看到ERROR或WARN日志消息？

我遇到的问题是即使我在BOOTSTRAP_SERVERS_CONFIG中更改了IP属性IP是localhost但我不知道为什么。

我不明白 - 为什么您认为将BOOTSTRAP_SERVERS_CONFIG更改为localhost:9092会解决您的原始问题？我知道Kafka经纪人实际上是在听192.168.99.100:9092吗？

为了解决这个问题，我使用了netsh来转发流量，但我看不到这个应用程序消耗我的流。

端口转发很可能无济于事。在不更新Kafka代理的配置的情况下，代理默认只在其“真实”IP +端口上进行通信。稍微简化：配置为侦听192.168.99.100:9092的代理不会响应您的Kafka Streams应用程序发送的localhost:9092请求，即使您正在从机器上的localhost:9092 -> 192.168.99.100:9092进行端口转发，运行你的Kafka Streams应用程序。

希望这有点帮助！

Kafka Streams没有阅读输入主题

1 个答案: