使用WebHCat的Hadoop Knox比以前慢

Question

我正在尝试将Knox用于我的MapReduce作业。以前，我没有使用Knox，MapReduce工作需要35秒。

但是在使用Knox之后，我看到了一个额外的工作 - TempletonControllerJob首先执行，它将启动我原来的MapReduce作业，这实际上需要更多时间 - 大约1分20秒！

据我所知，MapReduce作业现在是TempletonControllerJob的子作业。

• 但我怎样才能让它更快？
• 为什么TempletonControllerJob需要这么长时间？

Answer 1

这是一个有趣的观察和问题。不幸的是，这是Apache Hive项目和Templeton / WebHCat而不是Apache Knox的问题。 Knox仅代理WebHCat API以提交作业。希望我能得到更多帮助。