Question

我目前正在研究Kafka项目，我的问题是我能够使用文件源连接器读取文件并将数据存储到主题中。

我的配置：

connector.class=FileStreamSource
tasks.max=1
file=/vagrant/fake_sensor.dat
topic=sensor

然后，我很难通过Jdbc-sink连接器将数据发送到Postgres数据库中。

我的配置：

connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
topics=sensor
connection.url=jdbc:postgresql://localhost:5432/pg_data_eng
connection.user=vagrant
connection.password=vagrant
auto.create=true
key.converter=org.apache.kafka.connect.json.JsonConverter
schemas.enable=false

请注意，我尝试了一堆不同的配置，但没有任何效果。我可以使用REST API看到我的错误：

http://localhost:18083/connectors/jdbc-sink/tasks/0/status

我明白了：

{"id":0,"state":"FAILED","worker_id":"127.0.1.1:8083","trace":"org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:587)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:323)\
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:226)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:194)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:175)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:219)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)\nCaused by: org.apache.kafka.connect.errors.ConnectException: Value schema must be of type Struct
at io.confluent.connect.jdbc.sink.metadata.FieldsMetadata.extract(FieldsMetadata.java:82)
at io.confluent.connect.jdbc.sink.metadata.FieldsMetadata.extract(FieldsMetadata.java:63)
at io.confluent.connect.jdbc.sink.BufferedRecords.add(BufferedRecords.java:78)
at io.confluent.connect.jdbc.sink.JdbcDbWriter.write(JdbcDbWriter.java:66)
at io.confluent.connect.jdbc.sink.JdbcSinkTask.put(JdbcSinkTask.java:74)
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:565)
... 10 more\n"}

我看到Value schema must be of type Struct是主要问题，也许与模式注册有关。

我还尝试通过添加value.converter.schema.registry.url=http://localhost:8081 但仍然无法正常工作。

我确实在互联网上研究了一些教程，但是都没有关于文件源和jdbc-sink的教程，所以我的问题是：是否有可能做到这一点？

Answer 1

问题是FileSourceConnect返回的是String模式的Connect记录，而不是Struct（这是JDBC Sink和其他connect通常期望的）。

您将必须使用转换将值包装到Struct中。

connector.class=FileStreamSource
tasks.max=1
file=/vagrant/fake_sensor.dat
topic=sensor

# Add this
transforms=HoistField
transforms.HoistField.type=org.apache.kafka.connect.transforms.HoistField$Value
transforms.HoistField.field=line

然后输入文件

Foo 
Bar

转换后，消息将变为此（请手动消耗主题以进行确认）

{"line":"Foo"}
{"line":"Bar"}

因此，您的数据库将需要一个line文本列。

我还尝试通过添加value.converter.schema.registry.url = http://localhost:8081来实现这一点，但仍然无法正常工作。

您需要使用Avro才能工作，而不是JSONConverter

是否可以通过kafka使用文件源作为输入，使用jdbc-sink作为输出？

1 个答案: