限制Sqoop中并发映射器的数量

Question

我想运行带有100个映射器的Sqoop作业（＆＃34; -m 100＆＃34;） - 这会将数据分配到100个分区。在任何时候我都想限制同时运行的映射器的数量为10.有什么属性呢？

以下不起作用 -

private void changetabs(TabWidget tabWidget) {
    // Change background
    for(int i=0; i < tabWidget.getChildCount(); i++)
        tabWidget.getChildAt(i).setBackgroundResource(R.drawable.tab_selector);
}

Answer 1

Fair Scheduler可用于限制作业中并发映射任务的数量。

将公平调度程序添加到类路径。然后在mapred-site.xml中设置以下属性

<property>
  <name>mapred.jobtracker.taskScheduler</name>
  <value>org.apache.hadoop.mapred.FairScheduler</value>
</property>

公平调度程序的配置将在两个文件中提供。 mapred-site.xml负责算法参数，fair-scheduler.xml负责池配置，运行作业限制等

maxMaps和maxReduces将帮助我们设置最大并发任务位置。