Kafka Connect InfluxDB Connector无法从Kafka主题读取数据

时间:2019-11-25 12:04:23

标签: influxdb apache-kafka-connect

我正在尝试使用lens.io的influxdb sink独立安装Kafka Connect。直到我在数据库中创建了一些保留策略,并在接收器conf中指定了其中的一项,一切似乎都运行良好。

connect.influx.retention.policy=one_hour

然后,在使用新配置启动Kafka Connect时,我不断得到:

[2019-11-25 14:54:59,067] INFO Empty list of records received. (com.datamountaineer.streamreactor.connect.influx.InfluxSinkTask:72)

也没有数据存储到influxdb:

> select * from req
>

因此,我还原了配置,删除了保留策略行并重新启动了Kafka Connect,但仍然没有数据和相同的消息。另外,我尝试重命名接收器以重置偏移量,仍然没有骰子。

我在做什么错?如何在没有保留策略的情况下恢复工作状态并在设置中正确整合保留策略?

1 个答案:

答案 0 :(得分:0)

在influxdb中使用保留策略时,需要使用完全限定的度量名称来访问内容。另外,我更改了influxdb(> show retention policies)使用的默认策略,但是默认情况下接收器使用autogen策略。换句话说,以下工作有效:

# With retention policy specified in config
> select * from one_hour.req
# <Lots of data>
# ...

# With retention policy not specified in config
> select * from autogen.req
# <Lots of data>
# ...

当我尝试将策略设置为现在默认的one_year时,仅测量名称就足够了,如预期的那样:

# conf
# ...
connect.influx.retention.policy=one_year
# ...

# influx
> select * from req
# <Lots of data>
# ...

TL; DR:不使用(当前)influxdb默认保留策略时,需要使用度量名称指定保留策略。