如何通过Powershell在HDInsight上提交Spark作业?

时间:2017-06-21 21:51:09

标签: powershell azure pyspark hdinsight

有没有办法通过Powershell在HDInsight上提交Spark作业? 我知道可以通过Azure Data Factory中的活动来完成,但是有没有办法从Powershell cmdlet向pyspark HDInsight提交python脚本?

1 个答案:

答案 0 :(得分:1)

据我所知,没有Azure PowerShell命令可以执行此操作。

您可以使用Apache Spark REST API,该API用于将远程作业提交到Azure HDInsight Spark群集。请参阅此feedback

  

HDInsight允许通过REST API使用提交远程作业   李维。它是最近在Linux上发布的Spark的一部分。   https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/