相同的USQL工作需要花费近4个小时才能完成30分钟?

时间:2018-04-04 05:29:15

标签: u-sql

我有一个ADF管道,它运行带有1 AU的USQL作业。它每天安排一次。通常需要大约30分钟才能完成这项工作。但是现在我可以看到工作完成这项工作的时间超过3-4个小时。我现在可以看到它正在为作业分配更多顶点。所以比较我跑了同样的旧工作。你可以看到下面的差异。

1)第一份工作 - https://cmndatadevdl01.azuredatalakeanalytics.net/jobLink/a3071c07-4b90-4f17-8dab-ba16764d9165 它运行5815个顶点,1个AU,并在28分钟内完成

2)第二份工作 - https://cmndatadevdl01.azuredatalakeanalytics.net/Jobs/07e41502-3785-4f87-97d0-7682d544864b?api-version=2015-10-01-preview 我用5 AUS运行相同的上述工作以节省我的时间,在46分钟内完成。我正在运行相同的代码但它使用42,330个顶点为什么?

3)第三份工作 https://cmndatadevdl01.azuredatalakeanalytics.net/jobLink/c0037de7-6ba4-4aa5-9938-c7ba17b5edeb 这几乎是相同的工作,但输入几乎没有,但它需要42173个顶点并在4.4小时内完成1个AU

我认为Azure数据湖分析帐户现在存在问题。我几天就要面对这个问题了。一周前一切正常。请帮我解决这个问题

1 个答案:

答案 0 :(得分:0)

不幸的是,我们无法访问您的工作链接。

顶点数量主要取决于文件数量,大小和 - 如果使用表格 - 分发数量,分区数量,以及 - 经常被忽略但非常重要 - 表格片段的数量在插入表格时生成。

您能告诉我们有关您的数据的更多信息吗?

  1. 你在查询文件吗?什么格式(例如,JSON,CSV等)?他们的数量或规模是否增长?
  2. 你在查询桌子吗?你经常插入它们吗?您上次重建表或表分区的时间是什么时候?