hadoop map-reduce：如何部署非jar文件

Question

您好我想知道如何在使用hadoop jar ..args..提交地图缩减作业的jar文件时部署非jar文件。

对于hadoop流媒体，有--file选项可以发送文件，而火花我们有--files，但我在文档中找不到这样的选项。

提交hadoop map-reduce作业时，是否可以使用我的jar发送非jar文件？

Answer 1

Applications can specify a comma separated list of paths which would be present in the current working directory of the task using the option -files

  

-libjars选项允许应用程序添加jar   地图的类路径并减少。选项-archives允许   它们将逗号分隔的归档列表作为参数传递。这些   归档归档，并创建一个包含归档名称的链接   在当前的任务工作目录中。有关的更多细节   “命令指南”中提供了命令行选项。

     

使用-libjars，-files和-archives运行wordcount示例：hadoop   jar hadoop-examples.jar wordcount -files cachefile.txt -libjars   mylib.jar -archives myarchive.zip输出输出在这里，myarchive.zip   将按名称放置并解压缩到目录中   “myarchive.zip”。

     

用户可以为文件和档案指定不同的符号名称   使用＃。

传递-files和-archives选项      

例如，hadoop jar hadoop-examples.jar wordcount -files   dir1 / dict.txt #dict1，dir2 / dict.txt #dict2 -archives mytar.tgz #tgzdir   输入输出在这里，文件dir1 / dict.txt和dir2 / dict.txt可以   使用符号名称dict1和dict2通过任务访问   分别。档案mytar.tgz将被放置并取消归档   一个名为“tgzdir”的目录。