如何使用C#在Azure群集上远程运行Streaming Map Reduce作业?我的映射器和缩减器是用Java或C ++编写的。 .Net C#SDK的作业执行方法在输入中使用JobType,因此我无法指定C ++和基于Java的映射器/缩减器的类型。
还有另一个类StreamingProcessExecutor
似乎适用于我的情况,但没有在输入中获取我的凭据的地方,所以我认为不可能将它用于远程执行。
任何人都知道如何远程和程序化地执行流式地图减少作业?
答案 0 :(得分:0)
我找到了.Net Hadoop SDK的WebHCatHttpClient
课程,可用于此目的。虽然我仍然无法远程成功运作。
答案 1 :(得分:0)
可以使用WebHCat执行此操作。
文档为here
只需在下面对端点进行REST调用:https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming