我想在U-SQL Azure数据工厂中只从.csv文件中选择几列

Question

我想在U-SQL Azure数据工厂中只从.csv文件中选择几列。

我的csv文件中有10列我想只选择5列并写入新文件

Answer 1

使用内置提取器时，您必须指定所有列，但使用行集变量只选择您想要的列（也称为projection）很简单，如下所示：

// Do the initial extract for all columns
@input =
    EXTRACT colA string,
            colB string,
            colC string,
            colD string,
            colE string,
            colF string,
            colG string,
            colH string,
            colI string,
            colJ string

    FROM "/input/input57.csv"
    USING Extractors.Csv();


// Pick (project) the columns you need
@output =
    SELECT colA,
           colB,
           colC,
           colD,
           colE
    FROM @input;


// Output the columns you need
OUTPUT @output
TO "/output/output.csv"
USING Outputters.Csv();