我发出许多并行robocopy调用,将文件从一个网络共享复制到一个目录中。由于文件是只读的,我告诉robocopy通过/ A-:R剥离目标目录中的只读属性。似乎在一些核心机器(12个或更多)的目标目录!锁定最多16秒。
当并发MSBuild任务正在运行且CopyFile任务在只读文件上执行时,此问题确实存在。当执行robocopy以从网络共享并行下载TFS构建的依赖项时,也会发生这种情况。由于所有这些问题都指向kernel32 CopyFile(或其私有实现),我怀疑该问题与Windows如何复制文件有关。
这似乎不是内核中的一般问题,因为临时文件夹的存在是因为必须可以同时访问目录。但是CopyFile的kernel32.dll中的用户模式实现似乎存在缺陷。
更新2 使用下面的repro无论文件是否只读,都会发生这种情况。
更新3 此repro在Windows 8上也显示相同的问题。
procmon堆栈跟踪确实表明魔法发生在kernel32.dll里面 PrivCopyFileExW似乎没有记录。发出IRP_MJ_CREATE调用来打开目录,稍后关闭目录。当许多并行robocopy进程尝试将文件复制到一个目录中时,这似乎是竞争条件的根本原因。
以下是一些procmon输出问题的结果。
为什么PrivCopyFileExW会设法锁定目录?文件系统应该能够支持将文件复制到一个目录中。我正在使用Windows Server 2008 R2和一些带有RAID阵列,SSD等的最新多核机器。
这似乎与CopyFile in kernel32.dll报告的问题有关,直到今天才解决。我可以排除病毒扫描程序,因为这也发生在没有安装的机器上。
更新1
似乎另一个robocopy进程会尝试将文件复制到目标目录,从而打开目录
Date & Time: 20.03.2012 08:30:06
Event Class: File System
Operation: CreateFile
Result: SUCCESS
Path: C:\temp\dest
TID: 11672
Duration: 0.0000150
Desired Access: Read Data/List Directory, Write Data/Add File, Write EA, Read Attributes, Write Attributes, Delete, Synchronize
Disposition: OpenIf
Options: Directory, Synchronous IO Non-Alert, Open For Backup
Attributes: D
ShareMode: None <---- No sharing
AllocationSize: 0
OpenResult: Opened
0 fltmgr.sys FltpPerformPreCallbacks + 0x2f7 0xfffff88001045027 C:\Windows\system32\drivers\fltmgr.sys
1 fltmgr.sys FltpPassThroughInternal + 0x4a 0xfffff880010478ca C:\Windows\system32\drivers\fltmgr.sys
2 fltmgr.sys FltpCreate + 0x293 0xfffff880010652a3 C:\Windows\system32\drivers\fltmgr.sys
3 ntoskrnl.exe IopParseDevice + 0x5a7 0xfffff800031cb537 C:\Windows\system32\ntoskrnl.exe
4 ntoskrnl.exe ObpLookupObjectName + 0x585 0xfffff800031c1ba4 C:\Windows\system32\ntoskrnl.exe
5 ntoskrnl.exe ObOpenObjectByName + 0x1cd 0xfffff800031c6b7d C:\Windows\system32\ntoskrnl.exe
6 ntoskrnl.exe IopCreateFile + 0x2b7 0xfffff800031cd647 C:\Windows\system32\ntoskrnl.exe
7 ntoskrnl.exe NtCreateFile + 0x78 0xfffff800031d7398 C:\Windows\system32\ntoskrnl.exe
8 ntoskrnl.exe KiSystemServiceCopyEnd + 0x13 0xfffff80002eca813 C:\Windows\system32\ntoskrnl.exe
9 ntdll.dll NtCreateFile + 0xa 0x7718fc0a C:\Windows\System32\ntdll.dll
10 kernel32.dll BaseCopyStream + 0x11a9 0x77034b89 C:\Windows\System32\kernel32.dll
11 kernel32.dll BasepCopyFileExW + 0x545 0x77033d85 C:\Windows\System32\kernel32.dll
12 kernel32.dll PrivCopyFileExW + 0xb6 0x770b5296 C:\Windows\System32\kernel32.dll
13 Robocopy.exe CZDir::CopyData + 0xb5 0xff8623a9 C:\Windows\System32\Robocopy.exe
14 Robocopy.exe RoboCopyDir + 0xe4 0xff85af00 C:\Windows\System32\Robocopy.exe
15 Robocopy.exe Walk + 0x12a 0xff85c6b6 C:\Windows\System32\Robocopy.exe
16 Robocopy.exe wmain + 0x4f4 0xff85de78 C:\Windows\System32\Robocopy.exe
17 Robocopy.exe operator+ + 0x19b 0xff867be5 C:\Windows\System32\Robocopy.exe
18 kernel32.dll BaseThreadInitThunk + 0xd 0x7703f33d C:\Windows\System32\kernel32.dll
19 ntdll.dll RtlUserThreadStart + 0x1d 0x77172ca1 C:\Windows\System32\ntdll.dll
另一个robocopy想要检查文件是否已经存在并调用FindFirstFile,这会导致打开目录以及完全共享。
Date & Time: 20.03.2012 08:30:06
Event Class: File System
Operation: CreateFile
Result: SHARING VIOLATION
Path: C:\temp\dest
TID: 8280
Duration: 0.0000099
Desired Access: Read Data/List Directory, Synchronize
Disposition: Open
Options: Directory, Synchronous IO Non-Alert
Attributes: n/a
ShareMode: Read, Write, Delete <----- Full sharing
AllocationSize: n/a
0 fltmgr.sys FltpPerformPreCallbacks + 0x2f7 0xfffff88001045027 C:\Windows\system32\drivers\fltmgr.sys
1 fltmgr.sys FltpPassThroughInternal + 0x4a 0xfffff880010478ca C:\Windows\system32\drivers\fltmgr.sys
2 fltmgr.sys FltpCreate + 0x293 0xfffff880010652a3 C:\Windows\system32\drivers\fltmgr.sys
3 ntoskrnl.exe IopParseDevice + 0x5a7 0xfffff800031cb537 C:\Windows\system32\ntoskrnl.exe
4 ntoskrnl.exe ObpLookupObjectName + 0x585 0xfffff800031c1ba4 C:\Windows\system32\ntoskrnl.exe
5 ntoskrnl.exe ObOpenObjectByName + 0x1cd 0xfffff800031c6b7d C:\Windows\system32\ntoskrnl.exe
6 ntoskrnl.exe IopCreateFile + 0x2b7 0xfffff800031cd647 C:\Windows\system32\ntoskrnl.exe
7 ntoskrnl.exe NtOpenFile + 0x58 0xfffff800031e64a8 C:\Windows\system32\ntoskrnl.exe
8 ntoskrnl.exe KiSystemServiceCopyEnd + 0x13 0xfffff80002eca813 C:\Windows\system32\ntoskrnl.exe
9 ntdll.dll NtOpenFile + 0xa 0x7718f9ea C:\Windows\System32\ntdll.dll
10 KernelBase.dll FindFirstFileExW + 0x1ee 0x7fefd3a560e C:\Windows\System32\KernelBase.dll
11 KernelBase.dll FindFirstFileW + 0x1c 0x7fefd3a58dc C:\Windows\System32\KernelBase.dll
12 Robocopy.exe CZDir::Exists + 0xf7 0xff861bb7 C:\Windows\System32\Robocopy.exe
13 Robocopy.exe RoboCopyDir + 0x58 0xff85ae74 C:\Windows\System32\Robocopy.exe
14 Robocopy.exe Walk + 0x12a 0xff85c6b6 C:\Windows\System32\Robocopy.exe
15 Robocopy.exe wmain + 0x4f4 0xff85de78 C:\Windows\System32\Robocopy.exe
16 Robocopy.exe operator+ + 0x19b 0xff867be5 C:\Windows\System32\Robocopy.exe
17 kernel32.dll BaseThreadInitThunk + 0xd 0x7703f33d C:\Windows\System32\kernel32.dll
18 ntdll.dll RtlUserThreadStart + 0x1d 0x77172ca1 C:\Windows\System32\ntdll.dll
我也可以在Windows 7上轻松地重现这一点。您只需将两个并行robocopy调用中的只读文件复制到循环中的同一目录中,并等到它发生(大约30秒)。
for /L %i in (1,1,1000) do robocopy /E /XO /COPY:DAT /A-:R C:\ReadOnlySource1 c:\temp\dest
for /L %i in (1,1,1000) do robocopy /E /XO /COPY:DAT /A-:R C:\ReadOnlySource2 c:\temp\dest
您只能将一个只读文件放入源目录中以获得快速复制和许多并发目录访问。这是Windows的一个已知限制,在文件复制到目录时不允许访问目录吗?
我没有受过教育的意见是,这是一个错误,当您希望以可靠的方式并发访问文件时,它会变得非常糟糕。
答案 0 :(得分:1)
看起来我们终于从这个问题得到了MS的修复。他们发现并理解了这个问题。但这需要一些时间才能正式准备。目前它仅适用于Windows 7。