运行自定义shell脚本分布式shell apache yarn

时间:2015-06-15 08:03:53

标签: shell hadoop yarn

我一直在浏览HortonWorks的Apache Hadoop Yarn Book,其中介绍了两种运行Yarn任务的方法。

我的目的是运行一个shell脚本(编译并运行各种java和python脚本),并为各种文件夹运行一组这些脚本/补丁。一个简单的比喻: - “解压缩100个文件夹并记录他们的'ls'”

现在说我要并行化流程,这样一个容器可以运行1-2个文件夹,并说我要求50个这样的容器。

如何使用分布式shell执行此操作?我见过ls / whoami / uptime / hostname的例子,但这不是我想要的。我想运行一个脚本,它接受/遍历参数路径,我希望在纱线上以分布式方式运行。任何帮助?

0 个答案:

没有答案