我正在寻找将文件上传到Azure SQL数据库的最佳方法。 我们必须使用Azure Data Factory,因为此时我们不允许将Azure VM与SSIS一起使用。 每天我们都会上传1.5Gb的XML文件。 目前我们正在上传到Blob存储,并且通过Copy活动我们将它们上传到数据库中。 但这需要2.5小时。 什么是更好/更快的概念呢?
任何建议?
答案 0 :(得分:0)
您可以使用bcp实用程序将数据导入SQL Server实例,如本document中所述。从那里,您可以使用Azure Data Synchronization工具将Azure SQL数据库与SQL Server数据库同步。这可以提供更快的执行时间。
答案 1 :(得分:0)
最后它下降到35分钟。 只需使用多个存储帐户(5)并将数据拆分为5个帐户即可。 5 ADF管道将所有管道升级到同一个临时表中。 有些文件很庞大,但我们有超过100,000个小文件从2到100K。 这对我们来说很好。
我们注意到DTU从未达到极限,所以我们认为数据库不是问题,通过分裂到2,我们看到DTU上升了一点。我们继续走那条路......