在Kafka中创建从REST服务到SQLServer的数据管道

时间:2018-06-27 10:14:48

标签: sql-server rest apache-kafka data-pipeline

我们有一个展示了REST API的应用程序(由我们开发)。现在,我们还有一个SQLServer数据库,可以从REST API获取数据,并对数据进行一些处理,然后将其导出到用于业务目的的excel。

目前针对上述情况的当前流程是:

  1. 从REST API下载所需的数据(我们编写了一个单独的API来查询数据库并将其导出到excel)
  2. 将此数据从excel加载到SQLServer DB中
  3. 处理数据
  4. 将处理后的数据导出到excel

我们每次要生成目标excel时都要执行上述4个步骤,以获取最新数据。

来自REST API的数据是连续变化的,但不是很频繁。因此,我们希望简化将数据加载到SQLServer的过程(上面的步骤1和2)。

  

我读到,对于这种要求,卡夫卡将是最好的选择。我全部   在Kafka的文档中可以找到kafka Connect。这个   看起来,我们可以编写一个连接器来从REST中提取数据   API(源)并将其从Kafka主题拉入SQLServer(接收器)。

是否存在任何可以完成此工作的连接器(我们的期限很紧)?

我读到有关Confluent connectors的信息。在那里面 在页面上,我发现了一个其余的连接器和JDBC连接器 很有用。

  

我们可以在本地Kafka而不是Confluent Kafka发行版中这样做吗?

     

我还有其他方法可以处理此连续数据   流式传输更好吗?

我们不仅限于卡夫卡。我们准备使用任何开源技术。

感谢您的帮助。

0 个答案:

没有答案