使用C＃进行Hadoop流式传输

Question

我正在玩HDInsight而我不明白的是，虽然Microsoft claim所有数据节点都在CentOS和Java上运行，但您仍然可以write Mapper/Reducer with .NET code，这是因为Hadoop Steaming。但是在这些文章中我们还不清楚.NET代码如何在Linux上运行（我不认为Mono参与其中）。有人可以了解.NET代码最终是如何在每个数据节点上运行的，还是它们？

Answer 1

数据节点实际上并没有运行CentOS。 HDInsight中的所有节点都基于Windows的Hortonworks数据平台（HDP）。这意味着当您使用HDInsight时，您的任何流媒体程序实际上都在Windows上运行。

您提到的文章正在谈论（相当令人困惑！）关于在一系列Azure VM上设置您自己的Hadoop作为IaaS的替代模式。 HDInsight需要管理开销（这是您通过VM收费支付的费用）并提供PaaS。

当然没有什么可以阻止你在基于Linux的Hadoop上运行流式MapReduce和C＃单声道，但你的里程可能会有所不同。