我们可以在TEZ中对生成的DAG计划实施自定义DAG计划吗？如果可能，怎么样？

Question

我想使用由我创建的自定义DAG计划，而不是在Hive中使用TEZ生成的DAG计划。可能吗？如果是的话，有人可以解释一下吗？

Answer 1

如果您使用Hive运行查询，则无法使用自定义DAG。如果你使用API​​进行低级编程Tez应用程序，你可以。请参阅此处的高级文档：https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

这样的事情：

//Define DAG
DAG dag = new DAG();
Vertex map1 = new Vertex(MapProcessor.class) 
and so on...

请参阅apache项目示例：https://git-wip-us.apache.org/repos/asf?p=tez.git;a=blob;f=tez-examples/src/main/java/org/apache/tez/examples/HashJoinExample.java