将数据从Clickhouse推送到Kafka

时间:2018-12-30 14:16:39

标签: apache-kafka confluent clickhouse

出于测试目的,我必须将数据从Clickhouse服务器推送到Kafka。我已经尝试过使用Confluent JDBC连接器,但是效果不佳。

似乎Clickhouse-Kafka-Engine只能在Kafka-> Clickhouse的方向上工作,因此Clickhouse-server可以用作使用者。

是将Clickhouse中的表格用作生产者还是一种便捷的方法吗?

1 个答案:

答案 0 :(得分:1)

我建议在ClickHouse之外卸载此类任务。您可以通过clickhouse-client转储测试数据,并通过shell将其通过管道传输到kafka客户端。签出https://github.com/fgeller/kt