Powershell管道会导致爆炸性内存使用

时间:2014-12-12 09:42:20

标签: powershell batch-file

我目前正在Powershell中编写一个脚本,允许将SVN存储库中的文件夹复制到另一个文件夹,同时保留历史记录。这种命令的一个例子是:

svnadmin.exe dump $FromRepoPath `
    | svndumpfilter.exe include --drop-empty-revs --renumber-revs --preserve-revprops $Folder `
    | svnadmin.exe load --ignore-uuid $ToRepoPath

这会在Powershell中导致非常高的内存使用量。似乎Powershell首先执行svnadmin.exe并从SVN admin缓冲stdout,然后执行svndumpfilter并缓冲输出并最终执行svnadmin.exe。

我可以通过创建一个单独的批处理文件来解决它:

@echo off
svnadmin.exe dump %1 | svndumpfilter.exe include --drop-empty-revs --renumber-revs --preserve-revprops %2 | svnadmin.exe load --ignore-uuid %3

然后从Powershell调用它:

cmd.exe /c "SvnHelper.cmd $FromRepoPath $Folder $ToRepoPath"

但这感觉就像一个讨厌和不必要的解决方法。

有没有办法告诉Powershell在管道时直接传递而不是缓冲它?

1 个答案:

答案 0 :(得分:3)

输出不是缓冲的,而是任何外部进程的输入。您可以使用以下函数验证行为:

function Read-Pipeline {
[cmdletbinding()]
param ([Parameter(Mandatory = $true, ValueFromPipeline=$true)] $inp)
    Begin {}
    Process {Write-Verbose $inp ; Return $inp}
    End {}
}

然后运行:

.\LongRunning.exe | Read-Pipeline -Verbose | .\Other.exe

您将在Verbose中看到LongRunning.exe的输出,但在其管道关闭之前,Other.exe将不会运行。如果你这样做:

.\LongRunning.exe | Read-Pipeline -Verbose | Write-Host

您将看到交替的详细/控制台输出行没有缓冲,因为输入没有跨越过程边界。

这些都不会对你有所帮助。您可以通过回退到.NET来启动进程并手动将STDOUT复制到STDIN [1]来解决这个问题,但这需要很多工作才能得到很少的回报。最简单的方法是将命令传递给CMD,例如:

& cmd.exe "/C svnadmin.exe dump $FromRepoPath ^| svndumpfilter.exe include --drop-empty-revs --renumber-revs --preserve-revprops $Folder ^| svnadmin.exe load --ignore-uuid $ToRepoPath

[1] http://sushihangover.blogspot.com/2012/01/powershell-piping-standard-output-to.html