Apache Sqoop-1减速机阶段

Question

我已经浏览了sqoop文档，但没有找到有关为什么sqoop-1没有reducer阶段的信息。有人可以解释一下。

Answer 1

当所有任务可以并行执行时，不需要减少阶段。

Answer 2

  

Reducer的目的是聚合输入值并返回单个输出值。

在MapReduce中查看WordCount的简单示例。 Reducer用于聚合单个单词的出现次数。

由于Sqoop作业的性质是从给定的RDBMS获取输入记录并将记录放入HDFS中的给定输出目录或Hive表中，因此该作业不需要任何聚合，因此没有Reduce阶段需要。

Answer 3

Sqoop不需要reducer，因为它在RDBMS和HDFS文件系统（或Hive表）之间导入/导出数据。

由于RDBMS由结构化数据组成，因此不需要随机播放或排序，可以在mapper中自行完成聚合。