将MySQL复制到Hadoop

Question

我正在寻找一个将MySQL复制到Hadoop的开源，我找到了两个选项，但是

• Sqoop，Flume：不支持实时更新，删除
• Tungsten：封闭源和定价

那么还有什么其他工具可以满足这一要求呢？

Answer 1

凭借我的最佳知识，Kafka对您的案例非常有用。

Kafka-mysql-connector是一个插件，允许您轻松地将MySQL更改复制到Apache Kafka，从Kafka可以加载到HDFS或HIVE

• 对于基于Kafka Connect的MySQL-＆gt; Kafka解决方案，请查看优秀的Debezium项目。

http://debezium.io/

• 对于作为独立应用程序的MySQL-＆gt; Kafka解决方案，请查看此连接器所基于的优秀Maxwell项目。

http://maxwells-daemon.io/

希望这有助于

（注意：我没有使用过此解决方案，但您可以尝试一下）