Question

我对Kafka还是很陌生，我正在尝试建立一个简单的kafka连接系统，并使用MySQL源连接器和Elasticsearch + Elastic搜索接收器连接器运行；用于基本数据流。

我正在按照以下步骤进行操作 https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/ 及其第二部分（我已经验证了ES可以通过在源端使用简单的生产者来实现。）

除MySQL源连接器外，所有内容均已配置并按预期工作。我要尝试所有的VM上未安装MySQL服务器。本教程的DBMS部分使用客户端来创建/更改和使用表。因此，在源属性中，我尝试了：

"connection.url": "jdbc:mysql://IPaddressofDB:3306/DBname?user=uname&password=pwd"
"table.whitelist": "tablename"

要启动连接器，我只是做了一个./confluent load connector-name

一旦我加载了源连接器，并检查了它的状态，它就会给出一个错误

"org.apache.kafka.connect.errors.ConnectException: Failed trying to validate that columns used for offsets are NOT NULL\n\t ...
 Caused by: java.sql.SQLSyntaxErrorException: Table 'admin_portal.tablename' doesn't exist\n\t

这是否正确？我完全想念什么吗？
在类似我正在尝试的情况下如何指定connection.url：要在哪里尝试连接到其他数据库服务器？几乎所有示例/ git问题等似乎都仅指定localhost。
我不确定admin_portal的来源，我完全没有指定任何地方

****针对@ robin-moffat的建议进行了编辑（似乎与以前有相同的错误）

sourceconfig.json：

{
        "name": "jdbc_source_mysql_new",
        "config": {
                "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
                "connection.url": "jdbc:mysql://ipaddress:3306/dbname?user=uname&password=pwd",
                "table.whitelist": "dbname.tablename",
                "topic.prefix": "mysql-new-",
                "mode":"incrementing",
                "incrementing.column.name": "colname"
                }
}

已加载连接器：

>curl -X POST -H "Content-Type: application/json" --data @sourceconfig.json http://localhost:8083/connectors

检查连接器的状态：

>curl -X GET localhost:8083/connectors/jdbc_source_mysql_new/tasks/0/status

  {"state":"FAILED","
     "trace": 
     "org.apache.kafka.connect.errors.ConnectException: Failed trying to validate that columns used for offsets are NOT NULL\n\t
     at io.confluent.connect.jdbc.source.JdbcSourceTask.validateNonNullable(JdbcSourceTask.java:400)\n\t
     at io.confluent.connect.jdbc.source.JdbcSourceTask.start(JdbcSourceTask.java:156)\n\t
     at org.apache.kafka.connect.runtime.WorkerSourceTask.execute(WorkerSourceTask.java:198)\n\t
     at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)\n\t
     at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)\n\t
     at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)\n\t
     at java.util.concurrent.FutureTask.run(FutureTask.java:266)\n\t
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)\n\t
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)\n\t
 at java.lang.Thread.run(Thread.java:748)\n

 Caused by: java.sql.SQLSyntaxErrorException: Table 'admin_portal.tablename' doesn't exist\n\t
 at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:120)\n\t
 at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97)\n\t
 at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122)\n\t
 at com.mysql.cj.jdbc.StatementImpl.executeQuery(StatementImpl.java:1218)\n\t
 at com.mysql.cj.jdbc.DatabaseMetaData$7.forEach(DatabaseMetaData.java:2950)\n\t
 at com.mysql.cj.jdbc.DatabaseMetaData$7.forEach(DatabaseMetaData.java:2938)\n\t
 at com.mysql.cj.jdbc.IterateBlock.doForAll(IterateBlock.java:56)\n\t
 at com.mysql.cj.jdbc.DatabaseMetaData.getPrimaryKeys(DatabaseMetaData.java:2991)\n\t
 at io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.primaryKeyColumns(GenericDatabaseDialect.java:696)\n\t
 at io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.describeColumns(GenericDatabaseDialect.java:533)\n\t
 at io.confluent.connect.jdbc.dialect.GenericDatabaseDialect.describeColumns(GenericDatabaseDialect.java:513)\n\t
 at io.confluent.connect.jdbc.source.JdbcSourceTask.validateNonNullable(JdbcSourceTask.java:369)\n\t... 9 more\n",}

Answer 1

在我将My SQL连接器版本从8.x降级到5.1.47并将其放置在正确的$ CLASSPATH之后，它起作用了

mysql-connector-java-5.1.47.jar

Answer 2

kafka JDBC MySQL源连接器是否需要在本地主机上安装MySQL Server？

不。它使用可以连接到远程实例上的服务器的JDBC。

这是否正确？我完全错过了什么吗？

根据您的描述，您处在正确的位置：）

在类似我正在尝试的情况下如何指定connection.url：要在何处尝试连接到不同的DB服务器？几乎所有示例/ git问题等似乎都仅指定localhost。

您可以看到an example here

您需要正确配置JDBC URL，即can be found here for MySQL的语法。

我不确定admin_portal来自哪里，我完全没有指定任何地方

这将取决于与您连接到数据库的用户的权限。您需要确保它有权访问要从中读取数据的表。您还可以限定表格名称，例如

"table.whitelist": "schema.tablename"

kafka JDBC MySQL源连接器是否需要在本地主机上具有MySQL Server？

2 个答案: