有没有办法通过Powershell在HDInsight上提交Spark作业? 我知道可以通过Azure Data Factory中的活动来完成,但是有没有办法从Powershell cmdlet向pyspark HDInsight提交python脚本?
答案 0 :(得分:1)
据我所知,没有Azure PowerShell命令可以执行此操作。
您可以使用Apache Spark REST API,该API用于将远程作业提交到Azure HDInsight Spark群集。请参阅此feedback。
HDInsight允许通过REST API使用提交远程作业 李维。它是最近在Linux上发布的Spark的一部分。 https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/