我们有一个展示了REST API的应用程序(由我们开发)。现在,我们还有一个SQLServer数据库,可以从REST API获取数据,并对数据进行一些处理,然后将其导出到用于业务目的的excel。
目前针对上述情况的当前流程是:
我们每次要生成目标excel时都要执行上述4个步骤,以获取最新数据。
来自REST API的数据是连续变化的,但不是很频繁。因此,我们希望简化将数据加载到SQLServer的过程(上面的步骤1和2)。
我读到,对于这种要求,卡夫卡将是最好的选择。我全部 在Kafka的文档中可以找到kafka Connect。这个 看起来,我们可以编写一个连接器来从REST中提取数据 API(源)并将其从Kafka主题拉入SQLServer(接收器)。
是否存在任何可以完成此工作的连接器(我们的期限很紧)?
我读到有关Confluent connectors的信息。在那里面 在页面上,我发现了一个其余的连接器和JDBC连接器 很有用。
我们可以在本地Kafka而不是Confluent Kafka发行版中这样做吗?
我还有其他方法可以处理此连续数据 流式传输更好吗?
我们不仅限于卡夫卡。我们准备使用任何开源技术。
感谢您的帮助。