Sqoop - 自定义接收器

Question

我希望能够将Sqoop数据导入自定义Hadoop数据存储。这相当于从任意结构化数据库（MySql，Netezza等）导入到我自己的自定义数据存储（在这种情况下，相当于Hive）

创建此自定义接收器并与Scoop集成的任何指针？

Answer 1

我认为不支持使用sqoop创建自定义接收器。但您可以使用水槽创建自定义接收器，并且水槽可以从数据源加载。

BTW，什么是自定义Hadoop数据存储？它存储的格式以及与hadoop的不同之处。

我建议您使用 flume-ng-sql-source 插件进行水槽，然后将数据导入自定义接收器。

以下链接可帮助您使用flume-ng-sql-source。

https://www.toadworld.com/platforms/oracle/w/wiki/11114.streaming-mysql-database-table-data-to-hdfs-with-flume

https://github.com/keedio/flume-ng-sql-source

要编写自定义接收器，请按照custom sink docs进行操作。自定义源文件在同一文档中。