U-SQL Python的初始性能受到打击吗?

时间:2018-10-17 12:10:11

标签: python azure-data-lake u-sql

我有两个相同的作业,处理1000行,其中每行有3个数字列,我使用化简器输出1个具有硬编码值的列(就像一个非常简单的测试)。

一致地,对于python作业,我的总执行时间约为15-20分钟,对于C#作业,我的总执行时间约为1分钟。在python作业图中,我有一个额外的步骤,例如执行时间接近总执行时间的“ SV16进程”。

我的猜测是ADLA需要使用python启动虚拟机,然后执行代码。谁能确认?

更新:当我只运行几行(例如5行)时,python作业的运行就不会出现重大延迟(因此几乎是立即执行的)。我猜想有一些启发式方法会触发VM设置。

0 个答案:

没有答案