如何为sqoop作业设置vcores

时间:2017-09-13 11:24:11

标签: mapreduce yarn sqoop sqoop2

sqoop如何获取vcores执行。我提交了一个带有4个映射器的sqoop作业,即使有大约50个可用的vcore,应用程序也会以1个vcore开始。所以没有parelllization。这是导入sqoop作业到文本文件。这些是关于vcrore分配的纱线配置参数。 sqoop作业如何获取vcore以供执行?

x-name, y-name

1 个答案:

答案 0 :(得分:0)

来自https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_parallelism

  

Sqoop从大多数数据库源并行导入数据。您可以使用-m或--num-mappers参数指定要用于执行导入的映射任务(并行进程)的数量。

地图任务与vcores相同。