Apache Flume中是否有本机SQL源？

Question

我需要创建一个简单的数据仓库。数据仓库的数据源是异构的，因此我正在尝试使用像Apache Flume这样的Frameworks进行数据收集。我浏览了文档但没有找到任何关于SQL的内容。 （http://flume.apache.org/FlumeDeveloperGuide.html和http://flume.apache.org/FlumeUserGuide.html#flume-sources）

问题：是否有任何（本机）可能将Apache Flume源连接到SQL服务器？

Answer 1

查看此项目flume-ng-sql-source。以下是一些例子。

1. http://www.toadworld.com/platforms/oracle/w/wiki/11093.streaming-oracle-database-logs-to-hdfs-with-flume

2. http://www.toadworld.com/platforms/oracle/w/wiki/11100.streaming-mysql-table-data-to-oracle-nosql-database-with-flume

Answer 2

Apache Flume旨在收集，聚合和移动日志数据到HDFS。

如果您正在考虑从SQL数据库移动大量数据，请查看Apache Sqoop： http://sqoop.apache.org/