我无法在数据工厂中运行调用SPARK / HDINSIGHT群集的HDInsightSpark Python活动。我是否需要更改默认Azure Spark群集中的任何配置？我已经尝试创建一个专用的队列，我看到新队列中的作业，但我仍然得到相同的错误。此错误似乎很常见，但似乎没有解决它的任何修复。所有带有python的Jupyter笔记本都能正常工作，但是使用Data Factory会遇到困难。正确的.py文件显示在纱线日志中，因此正确地选择了作业。
答案 0 :(得分：0)
您无需更改默认Azure Spark群集中的任何配置，以便ADF向其提交作业。消息“等待AM容器被分配，启动并向RM注册”表示您的Spark群集未处于正确状态。您可以按照MapReduce job hangs, waiting for AM container to be allocated
检查群集的内存和磁盘设置