使用PoSh和7zip合并多个日志文件以存档

时间:2018-11-06 14:28:24

标签: powershell logging archive 7zip

我试图将多个日志文件合并到一个存档文件中,然后将该存档文件移动到另一个位置,以期清理旧的日志文件并节省硬盘空间。我们有一堆全部记录到同一根目录的工具,以及每个工具的日志文件夹。 (例如

  1. C:\ ServerLogs
  2. C:\ ServerLogs \ App1
  3. C:\ ServerLogs \ 2ndApp

其中每个都会在其中包含日志文件,例如

  1. C:\ ServerLogs \ App1 \ June1.log
  2. C:\ ServerLogs \ App1 \ June2.log
  3. C:\ ServerLogs \ 2ndApp \ June1.log
  4. C:\ ServerLogs \ 2ndApp \ June2.log

我想进入每个子文件夹,存档所有早于5天的文件,然后将存档移至另一个(长期存储)驱动器并删除现在压缩的文件。我使用的工具是PowerShell和7zip。下面的代码正在使用测试位置。

在两次完整的轮班过程中,我已经从各种来源在线整理了两个脚本,但没有一个能正常工作。这是第一个:

# Alias for 7-zip 
if (-not (test-path "$env:ProgramFiles\7-Zip\7z.exe")) {throw "$env:ProgramFiles\7-Zip\7z.exe needed"} 
set-alias 7zip "$env:ProgramFiles\7-Zip\7z.exe" 
$Days = 5 #minimum age of files to archive; in other words, newer than this many days ago are ignored
$SourcePath = C:\WorkingFolder\FolderSource\
$DestinationPath = C:\Temp\
$LogsToArchive = Get-ChildItem -Recurse -Path $SourcePath | Where-Object {$_.lastwritetime -le (get-date).addDays(-$Days)}
$archive = $DestinationPath + $now + ".7z"

#endregion

foreach ($log in $LogsToArchive) {
    #define Args
    $Args = a -mx9 $archive $log
    $Command = 7zip
    #write-verbose $command

    #invoke the command
    invoke-expression -command $Command $Args

这个问题是我在尝试调用表达式时遇到错误。我曾尝试对其进行重组,但随后出现错误,因为我的$ Args带有“ a”

所以我放弃了此方法(尽管它是我的首选),并尝试了此方法。

#region Params
param(
    [Parameter(Position=0, Mandatory=$true)]
    [ValidateScript({Test-Path -Path $_ -PathType 'container'})]
    [System.String]
    $SourceDirectory,
    [Parameter(Position=1, Mandatory=$true)]
    [ValidateNotNullOrEmpty()]
    [System.String]
    $DestinationDirectory
)
#endregion

function Compress-File{
    #region Params
    param(
        [Parameter(Position=0, Mandatory=$true)]
        [ValidateScript({Test-Path -Path $_ -PathType 'leaf'})]
        [System.String]
        $InputFile,
        [Parameter(Position=1, Mandatory=$true)]
        [ValidateNotNullOrEmpty()]
        [System.String]
        $OutputFile
    )
    #endregion

    try{
        #Creating buffer with size 50MB
        $bytesGZipFileBuffer = New-Object -TypeName byte[](52428800)

        $streamGZipFileInput = New-Object -TypeName System.IO.FileStream($InputFile,[System.IO.FileMode]::Open,[System.IO.FileAccess]::Read)
        $streamGZipFileOutput = New-Object -TypeName System.IO.FileStream($OutputFile,[System.IO.FileMode]::Create,[System.IO.FileAccess]::Write)
        $streamGZipFileArchive = New-Object -TypeName System.IO.Compression.GZipStream($streamGZipFileOutput,[System.IO.Compression.CompressionMode]::Compress)

        for($iBytes = $streamGZipFileInput.Read($bytesGZipFileBuffer, 0,$bytesGZipFileBuffer.Count);
            $iBytes -gt 0;
            $iBytes = $streamGZipFileInput.Read($bytesGZipFileBuffer, 0,$bytesGZipFileBuffer.Count)){

            $streamGZipFileArchive.Write($bytesGZipFileBuffer,0,$iBytes)
        }

        $streamGZipFileArchive.Dispose()
        $streamGZipFileInput.Close()
        $streamGZipFileOutput.Close()

        Get-Item $OutputFile
    }
    catch { throw $_ }
}


Get-ChildItem -Path $SourceDirectory -Recurse -Exclude "*.7z"|ForEach-Object{
    if($($_.Attributes -band [System.IO.FileAttributes]::Directory) -ne [System.IO.FileAttributes]::Directory){
        #Current file
        $curFile = $_

        #Check the file wasn't modified recently
        if($curFile.LastWriteTime.Date -le (get-date).adddays(-5)){

            $containedDir=$curFile.Directory.FullName.Replace($SourceDirectory,$DestinationDirectory)

            #if target directory doesn't exist - create
            if($(Test-Path -Path "$containedDir") -eq $false){
                New-Item -Path "$containedDir" -ItemType directory
            }

            Write-Host $("Archiving " + $curFile.FullName)
            Compress-File -InputFile $curFile.FullName -OutputFile $("$containedDir\" + $curFile.Name + ".7z")
            Remove-Item -Path $curFile.FullName
        }
    }
}

这实际上是可行的,因为它为每个合格的日志创建了单独的档案,但是我需要将日志“捆绑”到一个大型档案中,而且我似乎无法弄清楚如何{{1 }}(获取子项)并进行recurse(确认年龄),而无需让foreach生成单独的档案。

我什至还没有进入“移动和删除”阶段,因为我似乎无法使归档阶段正常工作,但是一旦确定了这一点,我当然不介意这么做(我我已经花了整整两天的时间来解决这一问题!)。

我非常感谢所有建议!如果我还没解释什么,或者说不清楚,请告诉我!

编辑1:我完全忘记提及的部分要求是,我需要将结构保留在新位置。因此,新位置将具有

  1. C:\ ServerLogs-> C:\ Archive \
  2. C:\ ServerLogs \ App1-> C:\ Archive \ App1
  3. C:\ ServerLogs \ 2ndApp-> C:\ Archive \ 2ndApp

  4. C:\ Archive

  5. C:\ Archive \ App1 \ archivedlogs.zip
  6. C:\ Archive \ 2ndApp \ archivedlogs.zip
    而且我完全不知道如何指定来自App1的日志需要转到App1。

EDIT2:对于后一部分,我使用Robocopy-它维护文件夹结构,如果将其作为参数输入“ .zip”,它将仅处理.zip文件。

1 个答案:

答案 0 :(得分:0)

此行$Args = a -mx9 $archive $log可能需要将右侧值用双引号引起来,或者将每个非变量都用引号引起来,并用引号引起来,以便获得一个args数组。

另一种方法是显式声明一个args数组。像这样的东西

$ArgList = @(
    'a'
    '-mx9'
    $archive
    $log
    )

我还建议您不要使用自动$ Var名称。看看Get-Help about_Automatic_Variables,您会发现$Args是其中之一。强烈建议您除了 reading 以外,不要将它们用于其他任何用途。给他们写信很不愉快。 [咧嘴]