Question

我正在尝试安装twitter源连接器，并找到以下链接link1和link2。第一个显示如何安装twitter源连接器，第二个显示一般如何手动安装连接器（始终为Confluent Platform）。

但是我对整个过程感到困惑。我遵循了here中的步骤，到目前为止，一切正常。但是，由于twitter源连接器不在连接器中心的列表中，因此需要手动安装。根据link1，我在某个地方克隆了一个git repo-问题：在哪里克隆它？在docker-compose.yml中，有一堆服务。特别是，在我旋转yaml之后，docker-compose ps显示

       Name                    Command                  State                         Ports
  ------------------------------------------------------------------------------------------------------------

   broker            /etc/confluent/docker/run        Up             0.0.0.0:9092->9092/tcp
   connect           /etc/confluent/docker/run        Up             0.0.0.0:8083->8083/tcp, 9092/tcp
   control-center    /etc/confluent/docker/run        Up             0.0.0.0:9021->9021/tcp
   ksql-datagen      bash -c echo Waiting for K ...   Up
   ksqldb-cli        /bin/sh                          Up
   ksqldb-server     /etc/confluent/docker/run        Up (healthy)   0.0.0.0:8088->8088/tcp
   rest-proxy        /etc/confluent/docker/run        Up             0.0.0.0:8082->8082/tcp
   schema-registry   /etc/confluent/docker/run        Up             0.0.0.0:8081->8081/tcp
   zookeeper         /etc/confluent/docker/run        Up             0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp

我不知道应该对link1的指示执行上述哪一项。是在动物园管理员，经纪人还是在连接中？欢迎任何帮助，如果有人有时间更全面地围绕link1的步骤写出几句话，请放心。干杯

Answer 1

连接器安装在Kafka Connect工作程序中。必须在启动工作程序之前安装它们。

该博客文章有更新的版本，位于https://www.confluent.io/blog/stream-processing-twitter-data-with-ksqldb。与此相关的是一个新的演示，您可以在这里找到：https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter

作为演示的一部分，它将安装twitter连接器at runtime。通过覆盖容器映像的默认命令来执行此操作，而是在运行connect worker之前运行连接器安装：

    command: 
      - bash 
      - -c 
      - |
        echo "Installing connector plugins"
        confluent-hub install --no-prompt jcustenborder/kafka-connect-twitter:0.3.33
        #
        echo "Launching Kafka Connect worker"
        /etc/confluent/docker/run & 
        #
        sleep infinity

手动安装Kafka连接器

1 个答案: