将数据插入U-SQL表需要太长时间？

Question

将数据插入U-SQL表需要花费太多时间。我们使用分区表重新计算以前处理的数据。插入第一次花了将近10-12分钟在三个表上分别有11,5和1个分区，并行性设置为10.第二次插入相同的数据花了将近4个小时。目前我们正在使用基于年份的分区。我们在不添加分区的情况下测试了插入和查询，性能要好得多。这是分区表的问题吗？

Answer 1

非常奇怪的是，对于以相同并行度执行的相同数据和脚本，同样的工作将花费更长的时间。如果从VisualStudio中查看作业图（或顶点执行信息），您能看到花费的时间吗？

请注意，（粗粒度）分区更多的是数据生命周期管理功能，它允许您处理表的各个分区，而不一定是性能功能（尽管分区消除可以帮助查询性能）。但是使用相同的脚本，资源和数据不应该从几分钟到几小时。