动态计算oozie参数（MR动作的减速器数量）

Question

在我的oozie工作流程中，我动态创建一个hive表，比如说T1。然后，此hive操作将执行map-reduce操作。我想设置reducers属性的数量（mapred.reduce.tasks）等于字段的不同值（T1.group）。任何想法如何动态设置某些oozie参数的值以及如何从hive distinct action到oozie参数获取参数的值？

Answer 1

我希望这可以提供帮助：

1. 正如您所做的那样创建配置单元表。
2. 执行另一个Hive查询，该查询计算列的不同值并将其写入hdfs中的文件。
3. 创建Shell操作，该操作将读取文件并以key=value的形式回显值。为shell操作启用capture-output。
4. 这是你的MR动作。现在使用Oozie EL功能访问动作数据。例如${wf:actionData('ShellAction')['key']}，将此值传递给MR操作的mapred.reduce.tasks标记中的configuration。