在HDInsight群集中提交Spark作业以获取安全启用的存储帐户

时间:2017-11-14 11:13:24

标签: azure apache-spark hdinsight azure-data-factory livy

当我们尝试在HDInsight 3.6中使用ADF或Livy提交Spark作业时,Spark 2.1需要需要安全传输"已启用" 在相关存储帐户中。它没有提交Spark作业,我们无法在YARN UI中看到Spark Job,但是我们能够提交相同的方式,如果我们禁用它 相关存储帐户中需要安全传输

如果需要进行安全转移,请告知我们如何提交Spark作业,并在存储帐户中启用"

1 个答案:

答案 0 :(得分:0)

我得到了解决这个问题的方法。 在创建HDinsight群集之前,请准备好以下几点。 **

1 Create azure storage account and create container where you want to put your jar or Spark related code.
2 While Configuring HDInsight cluster you use the above created storage account and container.

**

谢谢, Sudeep