我有一个ADF管道,它运行带有1 AU的USQL作业。它每天安排一次。通常需要大约30分钟才能完成这项工作。但是现在我可以看到工作完成这项工作的时间超过3-4个小时。我现在可以看到它正在为作业分配更多顶点。所以比较我跑了同样的旧工作。你可以看到下面的差异。
1)第一份工作 - https://cmndatadevdl01.azuredatalakeanalytics.net/jobLink/a3071c07-4b90-4f17-8dab-ba16764d9165 它运行5815个顶点,1个AU,并在28分钟内完成
2)第二份工作 - https://cmndatadevdl01.azuredatalakeanalytics.net/Jobs/07e41502-3785-4f87-97d0-7682d544864b?api-version=2015-10-01-preview 我用5 AUS运行相同的上述工作以节省我的时间,在46分钟内完成。我正在运行相同的代码但它使用42,330个顶点为什么?
3)第三份工作 https://cmndatadevdl01.azuredatalakeanalytics.net/jobLink/c0037de7-6ba4-4aa5-9938-c7ba17b5edeb 这几乎是相同的工作,但输入几乎没有,但它需要42173个顶点并在4.4小时内完成1个AU
我认为Azure数据湖分析帐户现在存在问题。我几天就要面对这个问题了。一周前一切正常。请帮我解决这个问题
答案 0 :(得分:0)
不幸的是,我们无法访问您的工作链接。
顶点数量主要取决于文件数量,大小和 - 如果使用表格 - 分发数量,分区数量,以及 - 经常被忽略但非常重要 - 表格片段的数量在插入表格时生成。
您能告诉我们有关您的数据的更多信息吗?