在powershell中使用Import-CSV的更有效方法

时间:2015-06-05 23:20:38

标签: powershell csv

我试图找出一种更有效的方法,使用Import-CSV(powershell)将值放入csv文件数组中。问题是这些文件中的一些有几十万行,并且与其他代码行一起运行这个脚本似乎是一个很大的瓶颈。你们有什么建议如何使这个代码更有效,更快?

foreach($csv in $csvfiles)
{
    $csvname = $csv.name;
    $paygroup = $csvname.substring(4,3);
    $batch = $csvname.substring(14,4);
    write-host "Writing $csvname";
    $csvimportdata = Import-CSV $CurrentPath"\$csvname";
        foreach($record in $csvimportdata)
        {
        $record.chartfield1 = $paygroup;
        $record.chartfield2 = $batch;
        $record.chartfield3 = $record.line_descr.substring(0,6);
        }
    $csvimportdata | Export-CSV $CurrentPath"\$csvname" -NoTypeInformation
};

1 个答案:

答案 0 :(得分:0)

如果您的CSV很大,那么加载到内存中可能不是一个好主意。这样的事情怎么样:

foreach($csv in $csvfiles)
{
    $csvname = $csv.name
    $paygroup = $csvname.substring(4,3)
    $batch = $csvname.substring(14,4)
    write-host "Writing $csvname"

    Get-Content $CurrentPath"\$csvname" -Readcount 1 | % {
      # Regex below assumes a three column CSV
      $_ -replace '^([^,]+,[^,]+,[^,]{6}).*$', '$1'
    } | Set-Content $CurrentPath"\$csvname"
}