按需在Azure Blob存储和Azure数据库之间移动数据

Question

我有一个项目，需要根据需要将数据从Azure blob处理到Azure数据库。我们正沿着使用Azure数据工厂的道路走下去，但是我读到的越多，我就越不相信这是最佳选择。我有两个问题：

1. 看起来所有东西都需要在ADF中安排，我看到做按需流程的唯一方法就是使用isPaused属性。

2. 并发 - 多个用户可能同时运行该进程。我之前使用SSIS包编写了这个，但从来没有使用ADF。这甚至可能吗？

这似乎是这个过程的错误工具，但也许我错了。

Answer 1

Azure数据工厂（ADF）是一个非常好的工具，但您需要以不同的方式思考问题。在某些方面它就像SSIS，但在很多方面它不是。特别是作为ELT和编排工具而不是ETL工具（如SSIS），转换是在其他地方完成的，通常在您运行的计算机上，而不是在ADF管道中。

日程安排以slices为模型，这是ADF理解的重要主题。在您的示例中，您可以在年份之后使用月份的子目录命名目录，其中包含当天的子目录等，直到您需要的任何级别。将频率设置为匹配，例如月，日，小时等，然后ADF将为每个时间片创建切片并相应地运行。重新并发，多个用户可以将他们的文件放在blob存储中，ADF会处理每个文件，比如说每15分钟一次。这只是解决同一问题的另一种方式，有意义吗？

您始终可以选择在云中运行SSIS，显然您需要一个VM（IaaS）来运行它。 SSIS Azure Feature Pack具有Azure Blob源和目标，因此您可以轻松地执行所需操作。