无法启动Azure Databricks群集

时间:2020-03-03 22:35:47

标签: azure azure-databricks databricks-connect academic-graph

我是MS Azure的新手。我正在尝试下载Microsoft Academic Graph进行各种分析,但它们不提供批量下载结构化数据集。像openacademicgraph这样的外部资源并没有真正有用,所以我想我可以尝试通过Azure下载数据。

幸运的是,有一些有关此的手册-“在Azure存储上获取Microsoft Academic Graph-docs.microsoft.com/zh-cn/academic-services/graph/get-started-setup-provisioning”。

我按照手册中的步骤为MAG创建了一个Azure帐户,并从Academic Knowledge API获得了以下电子邮件-


欢迎来到Microsoft Academic Graph(MAG)Azure存储(AS)分发预览。请注意,此分发处于免费预览阶段。定价结构可能会发生变化。

您的Azure存储已成功设置为通过Azure数据工厂接收MAG更新。每个MAG数据集都提供给名为“ mag-yyyy-mm-dd”的单独容器。 2020-02-14数据集已推送到您的Azure存储。

由于MAG拥有ODC-BY许可,因此您被授予基于开放数据许可条款(例如,产品,服务或社区中MAG的归属)增加价值和重新分发衍生产品的权利。事件。

每个MAG快照都将在Azure存储中显示为单独的容器。在Microsoft Academic Graph文档中,您可以找到一个示例,以使用Azure Databricks从MAG中为您的应用程序提取知识。还有一个使用U-SQL的示例,该示例是Azure Data Lake Analytic Framework的成员。

我们还将我们用于WWW Conference Analytics博客文章的出色Analytics(分析)和可视化示例放在一起。我们希望这可以帮助您加快开发过程并激发想象力!


下一步是“为Microsoft Academic Graph设置Azure Databricks-docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks”。我能够为MAG创建Azure Databricks(我不知道它们是什么,因为我对此还不熟悉),但是现在我无法运行它。

以下是我收到的错误消息:


消息

集群终止。原因:云提供商启动失败

启动工作程序节点时遇到云提供程序错误。有关更多信息,请参见Databricks指南。

天蓝色错误代码:OperationNotAllowed

Azure错误消息:操作无法完成,因为它导致超出了批准的地区核心总数配额。其他详细信息-部署模型:资源管理器,位置:centralus,当前限制:4,当前使用量:4,所需的其他数量:4,(最低)所需的新限制:8。在https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/~~~之前提交配额增加请求指定“详细信息”部分中列出的参数以使部署成功。请通过https://docs.microsoft.com/en-us/azure/azure-supportability/regional-quota-requests阅读有关配额限制的更多信息。


我不确定该怎么做。

超出了“区域核心总配额”,而不是我的个人订阅数量。我将如何请求增加整个区域的配额? 他们说我需要申请更大的配额,而这是我根据手册创建的免费试用帐户无法实现的。这是否意味着手册是错误的,我必须成为现收现付产品? “当前用法:4”,但目前我什么都没用。我所拥有的只是一个未运行的Azure存储和Databrick群集。 我再次尝试启动集群,第二次成功启动集群,但几分钟后又因相同的错误消息将其停用。

我将不执行任何复杂的查询和工作-这将非常昂贵。由于研究不力,我希望获得的只是遵循MAG模式的数据集。我将在我的桌面上对其进行任何分析,而这些分析是免费的,但速度较慢。任何帮助将不胜感激。

5 个答案:

答案 0 :(得分:3)

要尝试使用Azure Databricks,您需要具有“按需付费”订阅。

Azure Free Trail的限制为4个核心,并且您无法使用免费试用订阅创建Azure Databricks群集,因为要创建需要多个4个核心的Spark群集。

如果您有免费帐户,请转到您的个人资料,然后将订阅更改为即付即用。然后,remove the spending limitrequest a quota increase用于您所在地区的vCPU。创建Azure Databricks工作区时,可以选择“试用(高级-14天免费DBU)”定价层,以使工作区可以访问14天的免费Premium Azure Databricks DBU。

有关更多详细信息,请参阅“ Sign up for a Free Azure Databricks Trial”。

答案 1 :(得分:1)

您可以在databricks社区版中尝试大多数示例:

https://community.cloud.databricks.com/login.html

答案 2 :(得分:0)

您的订阅整个活动最多只能有4个核心。指南(https://docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks)中的图片显示了使用Standard_DS3_v2大小的VM(最少2个工作线程)来设置数据块群集。图片进一步显示,DS3虚拟机具有4个内核,因此您的订阅需要2x4 = 8个内核。

您至少需要1个工作线程或使用较小的VM。我还建议您关闭自动缩放功能,以避免出现问题。

答案 3 :(得分:0)

为数据块使用免费的Azure订阅和试用层,在执行此模块https://docs.microsoft.com/en-us/learn/modules/describe-azure-databricks/时遇到了相同的错误

创建集群时,我将集群模式从“标准”修改为“无”,问题解决了;我可以运行python笔记本。

答案 4 :(得分:0)

我将集群模式更改为单节点。它对我有用。