如何将kafka写入kafka接收器连接器

时间:2019-12-20 10:07:43

标签: apache-kafka apache-kafka-connect

我正在尝试使用卡夫卡镜子。而且我找到了这个开源[Comcast]:https://github.com/Comcast/MirrorTool-for-Kafka-Connect,当从源kafka主题检索数据并将其写入目标kafka主题时,它可以成功工作。现在我需要从目标kafka主题下沉并将其写入源kafka。我该怎么做,请提出建议。

我写了 kafkaSinkTask 文件。和内部put方法,我能够从目标kafka获取主题。所以我不知道如何写这个主题到kfafa来源

    @Override
    public void put(Collection<SinkRecord> records) {
        if (records.isEmpty()) {
              return;
            }
            final SinkRecord first = records.iterator().next();
            final int recordsCount = records.size();
            logger.info(
                "Received {} records. First record kafka coordinates:({}-{}-{}).
                + "database...",
                recordsCount, first.topic(), first.kafkaPartition(), first.kafkaOffset()
            );  
    }

1 个答案:

答案 0 :(得分:1)

  

现在我需要从目标kafka主题下沉,并将其写入源kafka

您是否可以仅翻转配置文件中的源服务器和目标服务器? Connect通常应从远程群集使用,并产生到一个本地群集(给定两个数据中心或地理上分开的网络),并在Connect offsets主题中将消耗的偏移量存储在目标位置,因此它是源连接器。

您也可以尝试使用MirrorMaker 2.0-https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0