Question

我尝试将Azure中的容器从一个存储位置复制到另一个存储位置。我为此使用了AzCopy命令。首先，我获取所有容器的列表，然后使用c＃代码从命令行根据容器名称运行AzCopy。

我遇到的问题是它将容器从一个位置复制到另一个位置，但是在4个容器之后，它似乎卡住了。测试一直在运行。当我取消测试时，我看到所有其他容器也被复制了。

我想知道如何解决这个问题，让测试完成并复制所有文件夹。我试着在每次通话后等待，以确保有足够的时间来完成通话。还尝试使用cmd.WaitForExit（）;在每次通话之后，但这只是卡住了。

关于我可能缺少什么的任何建议，我想做的一件事是在每次调用后得到输出，因为现在它只在所有命令完成后输出结果。还在考虑如何顺序运行命令行调用，以便在第一次完成后运行。

任何帮助将不胜感激！

namespace Test2
 {
[TestFixture]
class ContainerList
{
    [Test]
    public void CopyingContainerData()
    {
        CloudStorageAccount sourceCloudStorageAccount =
         CloudStorageAccount.Parse("StorageAccountKey");
         CloudBlobClient sourceCloudBlobClient = sourceCloudStorageAccount.CreateCloudBlobClient();
         List<string> outputLines = new List<string>();
         IEnumerable<CloudBlobContainer> containers = sourceCloudBlobClient.ListContainers();


         Process cmd = new Process();
         cmd.StartInfo.FileName = "cmd.exe";
         cmd.StartInfo.RedirectStandardInput = true;
         cmd.StartInfo.RedirectStandardOutput = true;
         cmd.StartInfo.CreateNoWindow = false;
         cmd.StartInfo.UseShellExecute = false;
         cmd.Start();
         int i = 0;

         foreach (CloudBlobContainer oneContainer in containers)
         {

                 string outputLine = oneContainer.Name;
                 outputLines.Add(outputLine);
                 string container = oneContainer.Name;
               string strCmdText =   @"AzCopy /Source:https://location1.blob.core.windows.net/" + container + @" /Dest:https://location2.blob.core.windows.net/" + container + @" /SourceKey:abc /DestKey:abc123 /S /NC:8 /XO /Y";
                 string location = @"cd C:\Program Files (x86)\Microsoft SDKs\Azure\AzCopy";

                 cmd.StandardInput.WriteLine(location);
                 cmd.StandardInput.WriteLine(strCmdText);
                 //System.Threading.Thread.Sleep(20000);
                 //cmd.WaitForExit();

                 i++;

             if (i == 15)
             {
                 break;
             }

         }
        string[] outputText = outputLines.ToArray();
        File.WriteAllLines(@"C:\AzureTests\CopyData.txt", outputText);


         cmd.StandardInput.Flush();
         cmd.StandardInput.Close();
         Console.WriteLine(cmd.StandardOutput.ReadToEnd());



    }
}
 }

Answer 1

我建议你使用powershell来做到这一点：

$SourceStorageAccount = "sourceStorageAccount"
$SourceStorageKey = "sourceKey"
$DestStorageAccount = "destStorageAccount"
$DestStorageKey = "destKey"

$SourceStorageContext = New-AzureStorageContext –StorageAccountName $SourceStorageAccount -StorageAccountKey $SourceStorageKey
$DestStorageContext = New-AzureStorageContext –StorageAccountName $DestStorageAccount -StorageAccountKey $DestStorageKey

$containers = Get-AzureStorageContainer -Context $SourceStorageContext

foreach($container in $containers) {  
    New-AzureStorageContainer -Context $DestStorageContext -Name $container.name -Permission Off

    $Blobs = Get-AzureStorageBlob -Context $SourceStorageContext -Container $container.name

    #Do the copy of everything
    foreach ($Blob in $Blobs) {
       Write-Output "Moving $Blob.Name"
       Start-CopyAzureStorageBlob -Context $SourceStorageContext -SrcContainer $container.name -SrcBlob $Blob.Name `
          -DestContext $DestStorageContext -DestContainer $container.name -DestBlob $Blob.Name
    } 
}

Answer 2

我们有类似的AzCopy.exe调用方案没有将控制权返回给.Net。原因是并行执行AzCopy.exe而未指定日志文件。它默认共享日志文件并获取访问冲突。当我们向不同的AzCopy实例发出不同的日志文件时，它盯着工作。

Running multiple instances of AzCopy.exe from .Net

使用C＃中的命令行使用AzCopy复制容器

2 个答案: