连接器如何在KSQLDB和Kafka中工作?

时间:2020-07-12 12:10:40

标签: apache-kafka ksqldb

关于源连接器在KSQLDb和Kafka中的全部工作方式,我没有足够的信息。

  1. 向Kafka主题填充数据的速度有多快?

  2. 如果KsqlDb流需要源中的数据来联接数据,但数据仍被加载怎么办?

  3. 源连接器是否将更新/插入的数据发送到主题,它会立即发生?

您能帮我解决这些问题还是给我一个好的教程,让我可以了解更多信息。

1 个答案:

答案 0 :(得分:0)

  1. 将数据填充到Kafka主题中的速度有多快?

取决于连接器。一些连接器是事件驱动的,一些使用轮询机制。事件驱动的连接器通常将更加实时,但通常需要更多的数据库端设置。基于轮询的连接器通常不需要任何数据库方面的更改。使用基于轮询的连接器,您可以提高轮询频率,以较低的延迟换取较高的数据库负载。

进一步了解连接器的文档以获取更多信息。

  1. 如果KsqlDb流需要源中的数据来加入数据,但数据仍被加载怎么办?

ksqlDB通常按时间顺序处理您的数据。当加入两个主题时,ksqlDB将使用最早的数据来处理数据。通常,这意味着流数据要在表引导后才会处理。

  1. 源连接器是否将更新/插入的数据发送到主题,它会立即发生?

不确定此问题与问题#1有什么区别。