数据工厂Blob源 - 列标题具有意义

时间:2016-01-28 16:28:38

标签: azure-data-factory

我将一堆csv文件加载到Azure blob存储中,其结构如下:

File1中

日期,T1SensorFG1,T1SensorFG2,T1SensorFG3

1/1 / 16,200,300,400

文件2

日期,T2SensorFG1,T2SensorFG2,T2SensorFG3

1/1 / 16,300,250,345

基本上,两组传感器(T1和T2)在某个时间点发出三个读数。

我需要读取这些数据并将列标题应用于行,以便我知道在后续处理之前每个读取来自哪个库。

理想情况下,管道的结果应该是这样的:

银行,日期,FG1,FG2,FG3

T1,1 / 1 / 16,200,300,400

T2,1 / 1 / 16,300,250,345

如果这更容易,我会同样对转化结果感到满意:

银行,日期,传感器,价值

T1,1 / 1/16,FG1,200

T1,1 / 1/16,FG2,300

T1,1 / 1/16,FG3,400

我无法理解,我无法相信这是不可能的。

Azure Blob是源。目标/接收器可以是blob和/或Azure SQL DB

请有人能为我提供一些解决方案。

很多,非常感谢

史蒂夫

1 个答案:

答案 0 :(得分:0)

您可以使用custom copy activity添加自己的转换/处理逻辑,并在管道中使用该活动。