Hadoop Streaming - 输入参数太多

Question

我正在通过hadoop流运行地图减少工作，但它给了我一个错误“太多的参数”。问题在于我在输入参数中传递超过1500个目录的输入。我无法减少输入文件的数量。

任何建议。

Answer 1

您始终可以使用通配符选择多个文件，而无需明确列出它们。