为什么SQOOP默认会启动4个映射器？

Question

我只是想了解为什么默认情况下SQOOP会启动4个映射器？在某些情况下，如果我们将映射器提升到8，那么有可能为我们提供更好的性能。那么，选择默认映射器为4的标准是什么？提前致谢。

Answer 1

我将引用Apache Sqoop官方网站上的7.2.4.Controlling Parallelism。

默认情况下，使用四个任务。某些数据库可能会通过将此值增加到8或16来提高性能。

  

不要将并行度增加到大于MapReduce群集中可用的并行度;任务将以连续方式运行，并可能增加执行导入所需的时间。

同样，

  

不要将并行度提高到数据库可以合理支持的程度。连接100并发   数据库的客户端可能会增加数据库服务器的负载   到了性能受到影响的程度。

所以你的答案是Performance Issues.为了在正常条件下获得更好的性能，这个值被确定为默认值。希望有所帮助。