Question

我需要在C＃应用程序中校验给定USB磁盘上的每个文件。我怀疑这里的瓶颈是磁盘的实际读取，所以我希望尽快做到这一点。

我怀疑如果我能按顺序读取磁盘上的文件，按照它们在磁盘上显示的实际顺序（假设驱动器没有碎片），这会更快。

如何从标准路径中找到每个文件的此信息？即在“F：\ MyFile.txt”中给出一个文件，如何在磁盘上找到该文件的起始位置？

我正在Windows中运行C＃应用程序。

Answer 1

如果您的驱动器是SSD或基于记忆棒技术 - 请忘记它。

记忆棒和其他类似设备通常基于SSD（或类似）技术，其中随机读/写访问的问题实际上不是问题。所以你可以枚举文件并运行校验和。

您可以尝试在多个线程中运行它，但我不确定是否可以加快该过程，这可能是您可能需要测试的。它可能因设备而异。

<强>加成
@xanatos提到了一个有趣的观点：“我总是注意到，在记忆棒上复制数千个文件要比复制一个大文件慢得多”

复制一个大文件确实要快得多，而不是一堆小文件。原因（通常）不是因为文件彼此靠近，所以硬件更容易按顺序读取它们。问题出现在需要跟踪每个文件的操作系统上。

如果你在Windows上运行procmon，你会发现大量的FileCreates，FileReads和FileWrites。为了复制100个文件，操作系统将打开每个文件，读取其内容，写入另一个文件，关闭两个文件+许多发送到文件系统的更新操作，例如两个文件的更新属性，更新安全描述符两个文件，更新目录信息等。因此一个复制操作有许多卫星操作。

Answer 2

现在......我真的不知道它对你有用：

[StructLayout(LayoutKind.Sequential)]
public struct StartingVcnInputBuffer
{
    public long StartingVcn;
}

public static readonly int StartingVcnInputBufferSizeOf = Marshal.SizeOf(typeof(StartingVcnInputBuffer));

[StructLayout(LayoutKind.Sequential)]
public struct RetrievalPointersBuffer
{
    public uint ExtentCount;
    public long StartingVcn;
    public long NextVcn;
    public long Lcn;
}

public static readonly int RetrievalPointersBufferSizeOf = Marshal.SizeOf(typeof(RetrievalPointersBuffer));

[DllImport("kernel32.dll", CharSet = CharSet.Unicode, SetLastError = true)]
public static extern SafeFileHandle CreateFileW(
        [MarshalAs(UnmanagedType.LPWStr)] string filename,
        [MarshalAs(UnmanagedType.U4)] FileAccess access,
        [MarshalAs(UnmanagedType.U4)] FileShare share,
        IntPtr securityAttributes,
        [MarshalAs(UnmanagedType.U4)] FileMode creationDisposition,
        [MarshalAs(UnmanagedType.U4)] FileAttributes flagsAndAttributes,
        IntPtr templateFile);

[DllImport("kernel32.dll", ExactSpelling = true, SetLastError = true, CharSet = CharSet.Auto)]
static extern bool DeviceIoControl(IntPtr hDevice, uint dwIoControlCode,
    ref StartingVcnInputBuffer lpInBuffer, int nInBufferSize,
    out RetrievalPointersBuffer lpOutBuffer, int nOutBufferSize,
    out int lpBytesReturned, IntPtr lpOverlapped);

// Returns a FileStream that can only Read
public static void GetStartLogicalClusterNumber(string fileName, out FileStream file, out long startLogicalClusterNumber)
{
    SafeFileHandle handle = CreateFileW(fileName, FileAccess.Read | (FileAccess)0x80 /* FILE_READ_ATTRIBUTES */, FileShare.Read, IntPtr.Zero, FileMode.Open, 0, IntPtr.Zero);

    if (handle.IsInvalid)
    {
        throw new Win32Exception();
    }

    file = new FileStream(handle, FileAccess.Read);

    var svib = new StartingVcnInputBuffer();

    int error;

    RetrievalPointersBuffer rpb;

    int bytesReturned;
    DeviceIoControl(handle.DangerousGetHandle(), (uint)589939 /* FSCTL_GET_RETRIEVAL_POINTERS */, ref svib, StartingVcnInputBufferSizeOf, out rpb, RetrievalPointersBufferSizeOf, out bytesReturned, IntPtr.Zero);

    error = Marshal.GetLastWin32Error();

    switch (error)
    {
        case 38: /* ERROR_HANDLE_EOF */
            startLogicalClusterNumber = -1; // empty file. Choose how to handle
            break;

        case 0: /* NO:ERROR */
        case 234: /* ERROR_MORE_DATA */
            startLogicalClusterNumber = rpb.Lcn;
            break;

        default:
            throw new Win32Exception();
    }
}

请注意，该方法将返回一个FileStream，您可以保持打开并用于读取文件，或者您可以轻松修改它以不返回它（而不是创建它），然后在您重新打开文件时想要哈希吧。

使用：

string[] fileNames = Directory.GetFiles(@"D:\");

foreach (string fileName in fileNames)
{
    try
    {
        long startLogicalClusterNumber;
        FileStream file;
        GetStartLogicalClusterNumber(fileName, out file, out startLogicalClusterNumber);
    }
    catch (Exception e)
    {
        Console.WriteLine("Skipping: {0} for {1}", fileName, e.Message);
    }
}

我正在使用此处描述的API：https://web.archive.org/web/20160130161216/http://www.wd-3.com/archive/luserland.htm。该程序更容易，因为您只需要初始逻辑集群号（代码的第一个版本可以提取所有LCN扩展区，但它将无用，因为您必须从第一个字节到最后一个字节散列文件）。请注意，空文件（长度为0的文件）没有分配任何集群。该函数返回集群的-1（ERROR_HANDLE_EOF）。您可以选择如何处理它。

如何获取磁盘上文件第一个字节的位置？

2 个答案: