如何从nodejs / REST api提交HDInsight作业

时间:2013-12-18 13:15:13

标签: azure hdinsight

我正在寻找一种从我的node.js应用程序中提交Pig / Hive作业的方法。为此我想要一些node.js sdk或REST Api到服务。有没有这样的事情。

我做了一些研究,官方的npm azure包只处理hdinsight群集的创建,列表和删除。我想要的是能够以编程方式将作业提交到集群,而不是使用电源shell(我在linux vms上),如http://www.windowsazure.com/en-us/manage/services/hdinsight/submit-hadoop-jobs-programmatically/教程中所示

谢谢!

1 个答案:

答案 0 :(得分:1)

HDInsight服务有一个名为WebHCat的REST API(以前称为Templeton,因此您可能会在文档中看到它),您可以从节点轻松地使用它。

文档在http://hive.apache.org/docs/hcat_r0.5.0/rest.html

要提交作业,您正在寻找的电话是:

https://mycluster.azurehdinsight.net/templeton/v1/hive

您只需在执行参数(表单编码)中发布查询。还有一些其他选项可以处理状态位置和完成回调,它们可能在您的应用程序中有用,所有这些都记录在http://hive.apache.org/docs/hcat_r0.5.0/hive.html

请注意,HDInsight中的模板实例在标准ssl端口(443)上运行,而不是在其他发行版中使用的模板默认值(50111)