kakfa中的JDBC sql服务器驱动程序安装-图片wurstmeister / kafka

Question

我正在将sql服务器表同步到Snowflake。我可能为此使用kafka并找到了一个docker映像-来自docker hub的wurstmeister / kafka。 我已经克隆了存储库wurstmeister / kafka-docker并从要克隆的文件夹中运行docker-compose up -d。一切都很好，直到这里。我现在想转到下一步。

1. 如何将here中的jdbc安装到docker文件中的映像中？容器中的哪个路径？这是连接sql server表并运行sql语句以获取更改的行。
2. 如何建立连接，哪个文件
3. 我是否还需要kakfak连接图像，如果要怎么做，我假设它会在yml文件中？
4. 是否有日志可以查看连接是否正常。

这些是我心中的问题，我非常困惑。我将非常感谢您的帮助或指点。

Answer 1

  

这是连接sql server表并运行sql语句以获取更改的行。

我建议使用Kafka Connect从数据库中提取数据。为此，在https://hub.docker.com/r/confluentinc/

处有Kafka Connect映像（以及其他映像）

特别是对于SQL Server，您有三个选择：

• JDBC Source connector
• SQL Server CDC connector（合流）
• SQL Server CDC connector（Debezium）

  

如何在Docker文件中从此处将jdbc安装到映像中？容器中的哪个路径？

您可以构建带有连接器的自己的docker映像，也可以在运行时安装它。本文讨论了deploying a connector automatically。

  

如何建立连接，哪个文件

每个连接器都有其自己的配置要求。概括地说，尽管您使用Kafka Connect REST API对其进行配置（或独立模式下的属性文件）。

  

我是否还需要kakfak连接图像，如果要怎么做，我假设它会在yml文件中？

为此，在https://hub.docker.com/r/confluentinc/处有Kafka Connect图像（以及其他图像）

  

有没有日志可以查看连接是否正常

默认情况下，Kafka Connect工作者将日志写入stdout，您可以通过docker日志进行查看。有关使用Kafka Connect和JDBC连接器的示例，请参见this article

  

这些是我心中的问题，我非常困惑。我将非常感谢您的帮助或指点。

Kafka Connect是您需要寻找的地方。它既可以充当源（将数据获取到Kafka中），也可以充当宿（将数据从Kafka中获取到其他地方）。本系列文章可能会有所帮助：

• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/
• https://www.confluent.io/blog/blogthe-simplest-useful-kafka-connect-data-pipeline-in-the-world-or-thereabouts-part-2/
• https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/

这个演讲也展示了它的作用：https://www.youtube.com/watch?v=RJtEacDX4Oc