是否可以在Azure上远程运行流式地图缩减作业?

时间:2013-08-19 07:36:57

标签: c# azure hadoop mapreduce hdinsight

如何使用C#在Azure群集上远程运行Streaming Map Reduce作业?我的映射器和缩减器是用Java或C ++编写的。 .Net C#SDK的作业执行方法在输入中使用JobType,因此我无法指定C ++和基于Java的映射器/缩减器的类型。

还有另一个类StreamingProcessExecutor似乎适用于我的情况,但没有在输入中获取我的凭据的地方,所以我认为不可能将它用于远程执行。

任何人都知道如何远程和程序化地执行流式地图减少作业?

2 个答案:

答案 0 :(得分:0)

我找到了.Net Hadoop SDKWebHCatHttpClient课程,可用于此目的。虽然我仍然无法远程成功运作。

答案 1 :(得分:0)

可以使用WebHCat执行此操作。

文档为here

只需在下面对端点进行REST调用:https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming