如何在Cloudera Hue上执行C＃MapReduce作业

Question

我是Hadoop技术堆栈的新手，并且在.Net中有一点背景，我们有一个运行在Azure服务之上的Cloudera集群，我想知道我是否可以执行C＃（。Net Standard / Framework / Core）MapReduce我的集群上的工作，以执行任何任务。

P.S。我知道这可以用于HDInsight，但是我无法找到任何方法让它在Cloudera / Hue上运行。

先谢谢。

Answer 1

根据我的经验，如果您想用C＃或其他语言编写MapReduce作业不能在JVM上运行，那么使用Hadoop / Cloudera的唯一方法是通过Hadoop Streaming。因此，您需要在Mono C＃（。Net Standard）或dotNet Core C＃中创建两个控制台执行程序，作为Linux上Cloudera的映射器和/或减速器。

希望它有所帮助。