使用IntelliJ IDEA失败提交hdinsight Spark作业

Question

当我使用IntelliJ IDEA社区提交hdinsight Spark工作时 错误：

Failed to submit application to spark cluster.
Exception : Forbidden. Attached Azure DataLake Store is not supported in Automated login model.
Please logout first and try Interactive login model

Answer 1

在Automated对话框中选择Azure Sign In选项并将Spark作业分配到存储为Azure DataLake Store的群集时，会显示expcetion。因此，请使用群集的Interactive选项。

自动登录模型仅用于Azure Blob商店群集。

您可以尝试以下步骤：

1. 首先从Azure资源管理器中退出
2. 使用Interactive选项
登录
3. 在Spark作业提交对话框中选择带有Azure DataLake Store的Spark群集并提交作业。

有关更多说明，请参阅https://docs.microsoft.com/en-us/azure/azure-toolkit-for-intellij-sign-in-instructions。

[更新]

如果您的帐户无权访问该Azure DataLake商店，则会引发相同的异常。

请参阅https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-security-overview

已编译的Spark作业将上传到ADL文件夹adl://<adls>.azuredatalakestore.net/<cluster attached folder>/SparkSubmission/**。所以用户需要 写作许可。您最好请求管理员检查您的角色访问权限。