如何在hadoop中传递相同输入参数的多个文件

Question

我有两个输入文件，我需要在Hadoop中传递相同参数下的两个文件。

EG: hadoop jar somemainclass -D testInput=file1,file2 

我不想根据某些用户条件将文件合并到一个文件中。 我尝试给参数-D testInput两次，但它只采用了最后一个文件而不是第一个文件。

Answer 1

如果传递同一参数的多个实例，则第一个实例的值将被第二个实例的值覆盖。

您可以通过用逗号分隔值来为同一参数指定多个值。

例如

<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>zk1:2181,zk2:2181,zk3:2181</value>
 </property> 

因此，在通过命令行传递值时，可以指定-DtestInput = file，file2