为什么msbuild在解决方案的最后一次构建后没有任何变化时如此缓慢?

时间:2014-03-28 04:15:08

标签: msbuild devenv

我有109个项目的解决方案。混合使用 - .NET,Silverlight,MVC,Web应用程序,控制台应用程序。

现在我使用msbuild在控制台上构建它。这需要一些时间。可以理解 - 很多项目,很多文件。

但是当我第一次在第一次构建它之后 - 它仍然需要很多时间,即使实际上没有构建 - diag msbuild日志确认了它。

例如,以下是第一个完整版本的任务性能摘要:

Task Performance Summary:
    4 ms  GetSilverlightItemsFromProperty            1 calls
   13 ms  Move                                       1 calls
   20 ms  GetReferenceAssemblyPaths                 27 calls
   28 ms  GetFrameworkPath                         190 calls
   29 ms  ValidateSilverlightFrameworkPaths        163 calls
   72 ms  AssignCulture                            192 calls
   75 ms  ResolveKeySource                         179 calls
   79 ms  MakeDir                                  200 calls
   95 ms  CreateProperty                           260 calls
  100 ms  CreateCSharpManifestResourceName         122 calls
  102 ms  Delete                                   442 calls
  112 ms  GenerateResource                           3 calls
  123 ms  CopyFilesToFolders                         1 calls
  177 ms  ReadLinesFromFile                        190 calls
  179 ms  CreateHtmlTestPage                        31 calls
  181 ms  CallTarget                               190 calls
  184 ms  GetSilverlightFrameworkPath              163 calls
  211 ms  Message                                  573 calls
  319 ms  CreateSilverlightAppManifest              97 calls
  354 ms  FileClassifier                           119 calls
  745 ms  ConvertToAbsolutePath                    190 calls
  868 ms  PackagePlatformExtensions                 94 calls
  932 ms  AssignProjectConfiguration               190 calls
 1625 ms  CategorizeSilverlightReferences          163 calls
 1722 ms  ResourcesGenerator                        60 calls
 2467 ms  WriteLinesToFile                         118 calls
 5589 ms  RemoveDuplicates                         380 calls
 8207 ms  FindUnderPath                            950 calls
17720 ms  XapPackager                               97 calls
38162 ms  Copy                                     857 calls
38934 ms  CompileXaml                              119 calls
40567 ms  Exec                                      14 calls
55275 ms  ValidateXaml                             119 calls
65845 ms  AssignTargetPath                         1140 calls
83792 ms  Csc                                      108 calls
105906 ms  ResolveAssemblyReference                 190 calls
1163988 ms  MSBuild                                  471 calls

msbuild声称Time Elapsed 00:08:39.44

精细。现在我再次运行相同的命令行并获得以下内容:

Task Performance Summary:
    1 ms  GetSilverlightItemsFromProperty            1 calls
   11 ms  WriteLinesToFile                           1 calls
   17 ms  GetReferenceAssemblyPaths                 27 calls
   24 ms  GetFrameworkPath                         190 calls
   32 ms  ValidateSilverlightFrameworkPaths        163 calls
   43 ms  CopyFilesToFolders                         1 calls
   47 ms  GenerateResource                           3 calls
   60 ms  ResolveKeySource                         179 calls
   66 ms  MakeDir                                  200 calls
   69 ms  AssignCulture                            192 calls
   70 ms  PackagePlatformExtensions                 94 calls
   76 ms  Delete                                   432 calls
   89 ms  CreateProperty                           260 calls
   98 ms  CreateCSharpManifestResourceName         122 calls
  136 ms  GetSilverlightFrameworkPath              163 calls
  156 ms  CallTarget                               190 calls
  182 ms  CreateHtmlTestPage                        31 calls
  207 ms  XapPackager                               97 calls
  215 ms  ReadLinesFromFile                        190 calls
  217 ms  Message                                  573 calls
  271 ms  CreateSilverlightAppManifest              97 calls
  350 ms  FileClassifier                           119 calls
  526 ms  ConvertToAbsolutePath                    190 calls
  795 ms  AssignProjectConfiguration               190 calls
 1658 ms  CategorizeSilverlightReferences          163 calls
 2237 ms  Exec                                       2 calls
 5703 ms  RemoveDuplicates                         380 calls
 6948 ms  Copy                                     426 calls
 7550 ms  FindUnderPath                            950 calls
17126 ms  CompileXaml                              119 calls
54495 ms  ValidateXaml                             119 calls
78953 ms  AssignTargetPath                         1140 calls
97374 ms  ResolveAssemblyReference                 190 calls
603295 ms  MSBuild                                  471 calls

msbuild声称Time Elapsed 00:05:25.70

这提出了以下问题:

  1. 为什么ResolveAssemblyReference在第二次构建中需要花费这么多时间?在第一个版本中创建的所有缓存文件仍然存在。什么也没有变。那怎么来的几乎和以前一样 - 97秒对106秒?
  2. 为什么ValidateXamlCompileXaml正在运行?我的意思是,自完整构建以来,一切都没有改变!
  3. 现在我重复相同的实验,但这次我在命令行而不是devenv上使用msbuild构建。与msbuild一样,不使用并行构建,并且日志级别在diag上。

    devenv最后没有提供这么好的摘要,必须从每个项目摘要中手动汇总。

    结果让我感到惊讶。我使用以下powershell脚本来聚合已用时间:

    Param(
      [Parameter(Mandatory=$True,Position=1)][string]$log
    )
    [timespan]::FromMilliseconds((sls -SimpleMatch "Time Elapsed" $log |% {[timespan]::Parse(($_ -split ' ')[2]) } | measure -Sum TotalMilliseconds).Sum).ToString()
    

    在命令行中使用devenv从完全相同的站点构建完全相同的解决方案,第一次构建00:06:10.9000000,第二次构建00:00:03.1000000只需3秒!!!。

    我还编写了一个PowerShell脚本来汇总统计信息:

    Param(
      [Parameter(Mandatory=$True,Position=1)][string]$log
    )
    $summary=@{}
    cat $log |% { 
      if ($collect) {
        if ($_ -eq "") {
          $collect = $false;
        } else { 
          $tmp = ($_ -replace '\s+', ' ') -split ' ';
          $cur = $summary[$tmp[3]];
          if (!$cur) { 
            $cur = @(0, 0);
            $summary[$tmp[3]] = $cur;
          }
          $cur[0] += $tmp[1];
          $cur[1] += $tmp[4];
        }
      } else { 
        $collect = $_ -eq "Task Performance Summary:" 
      } 
    }
    $summary.Keys |% {
      $stats = $summary[$_];
      $ms = $stats[0];
      $calls = $stats[1];
      [string]::Format("{0,10} ms {1,-40} {2} calls", $ms,$_,$calls);
    } | sort
    

    在第一个(完整)构建的日志上运行它会产生以下输出:

         5 ms ValidateSilverlightFrameworkPaths        82 calls
         7 ms Move                                     1 calls
         9 ms GetFrameworkPath                         108 calls
        11 ms GetReferenceAssemblyPaths                26 calls
        14 ms AssignCulture                            109 calls
        16 ms ReadLinesFromFile                        108 calls
        18 ms CreateCSharpManifestResourceName         61 calls
        18 ms ResolveKeySource                         97 calls
        23 ms Delete                                   268 calls
        26 ms CreateProperty                           131 calls
        41 ms MakeDir                                  118 calls
        66 ms CallTarget                               108 calls
        70 ms Message                                  326 calls
        75 ms ResolveNonMSBuildProjectOutput           104 calls
       101 ms GenerateResource                         1 calls
       107 ms GetSilverlightFrameworkPath              82 calls
       118 ms CreateHtmlTestPage                       16 calls
       153 ms FileClassifier                           60 calls
       170 ms CreateSilverlightAppManifest             49 calls
       175 ms AssignProjectConfiguration               108 calls
       279 ms ConvertToAbsolutePath                    108 calls
       891 ms CategorizeSilverlightReferences          82 calls
       926 ms PackagePlatformExtensions                47 calls
      1291 ms ResourcesGenerator                       60 calls
      2193 ms WriteLinesToFile                         108 calls
      3687 ms RemoveDuplicates                         216 calls
      5538 ms FindUnderPath                            540 calls
      6157 ms MSBuild                                  294 calls
     16496 ms Exec                                     4 calls
     19699 ms XapPackager                              49 calls
     21281 ms Copy                                     378 calls
     28362 ms ValidateXaml                             60 calls
     29526 ms CompileXaml                              60 calls
     66846 ms AssignTargetPath                         654 calls
     81650 ms Csc                                      108 calls
     82759 ms ResolveAssemblyReference                 108 calls
    

    现在,对于第二次构建,结果是:

         1 ms AssignCulture                            1 calls
         1 ms CreateProperty                           1 calls
         1 ms Delete                                   2 calls
         1 ms ValidateSilverlightFrameworkPaths        1 calls
         3 ms AssignTargetPath                         6 calls
         3 ms ConvertToAbsolutePath                    1 calls
         3 ms PackagePlatformExtensions                1 calls
         3 ms ReadLinesFromFile                        1 calls
         3 ms ResolveKeySource                         1 calls
         4 ms ResolveNonMSBuildProjectOutput           1 calls
         5 ms CreateCSharpManifestResourceName         1 calls
         5 ms GetFrameworkPath                         1 calls
        10 ms CategorizeSilverlightReferences          1 calls
        11 ms CallTarget                               1 calls
        11 ms FileClassifier                           1 calls
        11 ms FindUnderPath                            5 calls
        11 ms MakeDir                                  1 calls
        13 ms Copy                                     2 calls
        17 ms GetSilverlightFrameworkPath              1 calls
        17 ms RemoveDuplicates                         2 calls
        30 ms AssignProjectConfiguration               1 calls
        32 ms Message                                  25 calls
       239 ms ResolveAssemblyReference                 1 calls
       351 ms MSBuild                                  2 calls
       687 ms CompileXaml                              1 calls
      1413 ms ValidateXaml                             1 calls
    

    我们在这里谈论完全相同的解决方案!

    最后,以下是我用解决方案构建的脚本:

    的msbuild:

    @setlocal
    
    set SHELFSET=msbuild
    
    set MSBUILDLOGVERBOSERARSEARCHRESULTS=true
    set AppConfig=app.config
    set Disable_CopyWebApplication=true
    set MvcBuildViews=false
    
    call \tmp\undo.cmd
    del /a:-R /s/q *.*
    tf unshelve %SHELFSET% /recursive /noprompt
    
    msbuild DataSvc.sln
    msbuild Main.sln /v:diag > \tmp\00.Main.msbuild.full.log
    msbuild Main.sln /v:diag > \tmp\01.Main.msbuild.incr.log
    msbuild Main.sln /v:diag > \tmp\02.Main.msbuild.incr.log
    
    @endlocal
    

    devenv的:

    @setlocal
    
    set SHELFSET=msbuild
    
    set MSBUILDLOGVERBOSERARSEARCHRESULTS=true
    set AppConfig=app.config
    set Disable_CopyWebApplication=true
    set MvcBuildViews=false
    
    call \tmp\undo.cmd
    del /a:-R /s/q *.*
    tf unshelve %SHELFSET% /recursive /noprompt
    
    msbuild DataSvc.sln
    devenv  Main.sln /build > \tmp\00.Main.devenv.full.log
    devenv  Main.sln /build > \tmp\01.Main.devenv.incr.log
    devenv  Main.sln /build > \tmp\02.Main.devenv.incr.log
    
    @endlocal
    

    我的测试告诉我msbuild是一块垃圾,我不应该在命令行上使用它来构建我的C#解决方案。 https://connect.microsoft.com/VisualStudio/feedback/details/586358/msbuild-ignores-projectsection-projectdependencies-in-sln-file-and-attempts-to-build-projects-in-wrong-order增加了这种感觉。

    但也许我错了,一个简单的调整会使msbuild在第二次构建时效率为devenv

    如何让msbuild在第二次构建时表现得很明智?

    编辑1

    CompileXaml任务是 C:\ Program Files(x86)\ MSBuild \ Microsoft \ Silverlight \ v5.0 \ Microsoft.Silverlight.Common中找到的MarkupCompilePass1目标的一部分。目标

    <Target Name="MarkupCompilePass1"
          DependsOnTargets="$(CompileXamlDependsOn)" 
          Condition="'@(Page)@(ApplicationDefinition)' != '' " >
    
        <CompileXaml 
               LanguageSourceExtension="$(DefaultLanguageSourceExtension)"
               Language="$(Language)" 
               SilverlightPages="@(Page)" 
               SilverlightApplications="@(ApplicationDefinition)" 
               ProjectPath="$(MSBuildProjectFullPath)"
               RootNamespace="$(RootNamespace)"
               AssemblyName="$(AssemblyName)" 
               OutputPath="$(IntermediateOutputPath)"
               SkipLoadingAssembliesInXamlCompiler="$(SkipLoadingAssembliesInXamlCompiler)"
               TargetFrameworkDirectory="$(TargetFrameworkDirectory)" 
               TargetFrameworkSDKDirectory="$(TargetFrameworkSDKDirectory)"
               ReferenceAssemblies ="@(ReferencePath);@(InferredReference->'$(TargetFrameworkDirectory)\%(Identity)')"
               >
    
            <Output ItemName="Compile" TaskParameter="GeneratedCodeFiles" />
    
            <!-- Add to the list list of files written. It is used in Microsoft.Common.Targets to clean up 
                 for a next clean build 
              -->
            <Output ItemName="FileWrites" TaskParameter="GeneratedCodeFiles" />
            <Output ItemName="_GeneratedCodeFiles" TaskParameter="GeneratedCodeFiles" />
    
        </CompileXaml>
    
        <Message Text="(Out) GeneratedCodeFiles: '@(_GeneratedCodeFiles)'" Condition="'$(MSBuildTargetsVerbose)'=='true'"/>
    </Target>
    

    我们可以看到 - 没有输入和没有输出。

    接下来,第二个版本的diag msbuild日志不包含任何可疑的单词,如&#34; rebuilding&#34;。

    最后,我想注意msbuild和devenv都是在完全相同的情况下运行的,并且没有使用多线程构建。然而差异很大 - 超过5分钟(msbuild)vs 3秒(devenv,命令行)。

    对我来说还是一个完全的谜。

    编辑2

    我现在更了解 devenv 构建的工作原理。它使用启发式方法来确定当前项目是否必须首先移交给msbuild。默认情况下启用此启发式,但可以通过将DisableFastUpToDateCheck msbuild属性设置为true来禁用此启发式。

    现在,命令行devenv构建实际需要3秒以上才能确定是否需要运行msbuild。总而言之,像我这样的解决方案可能需要20秒甚至30秒来决定什么都不需要传递给msbuild。

    这种启发式是造成这种巨大差异的唯一原因。我想Visual Studio团队认识到标准构建脚本的质量很差(MarkupCompilePass1之类的任务不是由输入和输出驱动的),并决定首先想出一种跳过msbuild的方法。

    但是有一个问题 - 启发式只检查csproj文件,没有检查导入的目标文件。此外,它对隐式依赖项一无所知 - 就像从其他TypeScript文件引用的TypeScript文件一样。因此,如果您的TypeScript文件引用属于不同项目但未从项目文件中显式链接的其他TypeScript文件 - 启发式不了解它们,您最好拥有DisableFastUpToDateCheck = true。构建速度会慢一点,但至少它是正确的。

    底线 - 我不知道如何修复msbuild,显然也不是devenv家伙。这似乎是他们发明启发式的原因。

1 个答案:

答案 0 :(得分:4)

首先,查看您正在生成的诊断日志。实际上,首先使用文件记录器而不是控制台操作员将控制台输出管道输出到日志,然后看看它们的日志!

实际上,使用此代码而不是/v:diag >msbuild.log

/v:min /fl3 /flp3:warningsonly;logfile=msbuild.wrn /fl4 /flp4:errorsOnly;logfile=msbuild.err /fl5 /flp5:Verbosity=diag;logfile=msbuild.log

现在您的控制台缓冲区非常感谢您,您的开发人员也是如此,以便包含远见,以便为调试保留单独的仅错误和仅警告日志。

现在检查诊断MsBuild日志,并检查需要很长时间才能运行的目标的CTRL + F.您是否看到任何表示目标正在再次运行的措辞,即使没有任何变化?要跳过构建,目标将需要定义输入和输出。如果输入(.cs)比输出(.dll,.pdb)更新,那么它知道必须更改的内容并触发新构建

我相信那些CompileXaml目标是在WinFx目标中并确实已经定义了输入和输出,你能找到其中一个长期运行的情况的输出文本,并确定是否有错误导致它重建?它是否说&#34;完全重建X因为找不到Y&#34;?

最后,这是一个有趣的技巧,可以从命令行加速构建!

msbuild.exe / m

这将跨多个线程分别构建项目。