如何使用命令行选项控制Hadoop任务重试策略？

Question

我想使用命令行选项控制Hadoop作业重试策略。例如，我想编写以下Sqoop作业，并对MySQL中断具有容错能力：

sqoop
  GENERIC_SQOOP_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

对于一般Hadoop作业，它可能类似于：

hadoop job -submit
  GENERIC_JOB_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

Answer 1

是的，Sqoop支持hadoop“-D”参数。但是他们在命令行上的位置至关重要。它们必须直接出现在“sqoop”之后和任何其他Sqoop参数之前：

sqoop -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 import --connect ...

请注意，不同的定位将无法按预期工作。