我正在将大型数据集迁移(提取 - 加载)到LOB服务,并且希望使用Azure Data Factory v2(ADF v2)。这将是通常在SSIS中实现的相同类型的编排的云版本。我的源数据库和数据集以及目标平台都在Azure上。这导致我使用批处理服务(ABS)ADFv2并创建自定义活动。
https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity
但是,我无法从Microsoft提供的文档或示例中读取ADF v2如何创建批处理服务所需的作业和任务。
举个例子,假设我拥有1000万条记录的数据集,以及池中有10个核心的批处理服务。如何向池中每个核心上运行的命令行应用程序提交1/10甚至换行?我如何分发作品?按照ADF v2文档的默认指南,我只得到一个datasets.json文件,它对我所有的池节点都是一样的,没有" slice"或子集信息。
如果没有参与ADF v2,我会在ABS中创建一个作业,并为每行或每行创建一个任务。然后,节点将执行任务任务。如何使用ADF v2实现类似的功能?