kafka连接器HTTP / API源

Question

我实际上知道如何从任何数据源捕获数据，例如特定的API（例如HTTP GET请求），并在特定的kafka连接器中摄取它们。

{
    "name": "localfileSource", 
    "config": {
        "connector.class": "FileStreamSourceConnector",
        "tasks.max": "1",
        "file": "test.txt",
        "topic": "connectSource"
    }
}

我需要与此类似的内容（FileStreamSourceConnector），可以与API源一起使用。

Answer 1

询问提问者可能为时已晚，但我有类似的需求，因此决定实现自己的连接器。

连接器的特殊之处在于它实现了某种Change Data Capture

万一它可以帮助其他人，您可以在这里找到它：castorm/kafka-connect-http

Answer 2

你总是可以构建自己的连接器，从一组间隔中的http源流来比较简单。

我知道你可能已经解决了你的问题，可以找到一个天真的实现： https://github.com/pegerto/kafka-connect-http

问候。