如何在OGG中为Hdfs配置kafka连接处理程序

Question

我正在使用Kafka（这是新功能）将数据从Oracle db移动到Hadoop文件系统中进行POC。我已经在oracle db上配置了我的提取，并将其在源表中完成的更改发布到我的kafka处理程序使用者，我可以看到有关主题的数据。现在我想在kafka连接处理程序上做同样的事情，并且我想在我的hdfs文件中的模式和数据。我知道我可以配置kafka处理程序以读取我的提取跟踪文件。但是，我应该在哪里放置目标hdfs的详细信息，以便kafka可以将数据转储到hdfs中？

Answer 1

1. 使用OGG Kafka Connect处理程序从Oracle流到Kafka。示例here和here。如果需要，还可以使用Kafka处理程序。 More details here。
2. 使用kafka-connect-hdfs从卡夫卡流到HDFS