从Oracle增量获取

Question

是否可以使用用户定义的查询（通过JDBC）从Oracle数据库中获取增量数据？

我们可以使用Spark，Kafka或纯JDBC。

它唯一应该能够支持重负载的东西。

Answer 1

您尚未指定目的地。如果这是一个Kafka主题，那么使用Kafka Connect也可以使用Apache Kafka进行提取。

在这种情况下，您可以使用Kafka Connect JDBC connector来执行此操作。有关将增量模式与自定义查询一起使用的详细信息，请参见here。

++编辑++

如果最终目标是BigQuery，那么您也可以通过相应的BigQuery connector使用Kafka Connect。您可以在操作here中看到它的示例。