Question

有人知道如何使用BMC Control-M软件控制/安排Hadoop作业吗？它甚至可能吗？

我尝试过Ooozie，想要探索更多用于安排hadoop工作的选项。

请指教！

Answer 1

答案是肯定的。

这个答案会变得更好。

今天，您可以使用各种Hadoop组件提供的丰富命令行界面。然后，您可以将这些CLI单独作为命令运行，或者将它们组合到直接嵌入到Control-M作业中的脚本中，或者包装在shell脚本中（Bash是一种常用的脚本）并使用Control-M进行调度。我提供了一个示例脚本来执行一些HDFS操作，然后运行MapReduce作业。

在我们发布针对Hadoop的集成支持的几个月内，更好的部分即将到来。那时（我假设您熟悉BMC Control-M）我们将提供类似于我们其他CM的图形表单，用于定义各种作业类型（Pig，Hive，MapReduce都在考虑但我不确定是什么实际上将得到实施），对状态监测，工作输出检索等的综合支持

我们已经听过许多使用Control-M来管理其Hadoop环境的客户。

除了运行Hadoop作业的“机制”之外，您还可以获得Control-M管理图形流的功能，具有广泛的平台和应用程序的集成，管理服务级别的能力，预测，审计，报告和更多。

我很乐意与您进一步讨论这个问题，特别是因为我们还处于这项工作的早期阶段，我们很乐意了解您对此领域的要求。请发给我一个电子邮件地址joe_goldberg@bmc.com，我很乐意设置电话会议或演示。

#!/bin/csh
#
cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'

如何使用BMC Control-M安排hadoop作业？

1 个答案: