Azure Data Factory v2和自定义活动中的数据处理

时间:2018-02-18 13:02:07

标签: azure-data-factory azure-batch azure-data-factory-2

我正在将大型数据集迁移(提取 - 加载)到LOB服务,并且希望使用Azure Data Factory v2(ADF v2)。这将是通常在SSIS中实现的相同类型的编排的云版本。我的源数据库和数据集以及目标平台都在Azure上。这导致我使用批处理服务(ABS)ADFv2并创建自定义活动。

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity

但是,我无法从Microsoft提供的文档或示例中读取ADF v2如何创建批处理服务所需的作业和任务。

举个例子,假设我拥有1000万条记录的数据集,以及池中有10个核心的批处理服务。如何向池中每个核心上运行的命令行应用程序提交1/10甚至换行?我如何分发作品?按照ADF v2文档的默认指南,我只得到一个datasets.json文件,它对我所有的池节点都是一样的,没有" slice"或子集信息。

如果没有参与ADF v2,我会在ABS中创建一个作业,并为每行或每行创建一个任务。然后,节点将执行任务任务。如何使用ADF v2实现类似的功能?

0 个答案:

没有答案