Question

将MemoryMappedFile.CreateViewStream(0, len)分配一个大小为len的托管内存块，还是会分配较小的缓冲区作为非托管数据的滑动窗口？

我想知道，因为我的目标是替换今天的MemoryStream反序列化的中间缓冲区，这给我带来了大型数据集的麻烦，因为缓冲区的大小和LOH碎片。

如果视图流的内部缓冲区变得相同，那么进行此切换就没有意义。

修改

在快速测试中，我在将MemoryStream与MemoryMapped文件进行比较时发现了这些数字。来自GC.GetTotalMemory(true)/1024和Process.GetCurrentProcess.VirtualMemorySize64/1024

的阅读材料

分配1GB内存流：

                     Managed           Virtual 
Initial:               81 kB        190 896 kB
After alloc:    1 024 084 kB      1 244 852 kB

正如所料，管理和虚拟内存的演出。现在，对于MemoryMappedFile：

                     Managed           Virtual 
Initial:               81 kB        189 616 kB    
MMF allocated:         84 kB        189 684 kB
1GB viewstream allocd: 84 kB      1 213 368 kB
Viewstream disposed:   84 kB        190 964 kB

因此，使用非常科学的测试，我的假设是ViewStream仅使用非托管数据。正确的吗？

Answer 1

这样的MMF无法解决您的问题。程序在OOM上爆炸，因为虚拟内存空间中没有足够大的空洞来适应分配。正如您所知，您仍在使用MMF消耗VM地址空间。

使用小的滑动视图将是一种解决方法，但这与写入文件没有任何不同。这是重映射视图时MMF所执行的操作，它需要将脏页刷新到磁盘。简单地流式传输到FileStream是正确的解决方法。仍然使用RAM，文件系统缓存有助于快速写入。如果你有一块可用的RAM，这些日子并不难，那么写入FileStream只是一个内存到内存的副本。非常快，5千兆字节/秒以上。该文件在后台以懒惰的方式编写。

在Windows中尝试过于难以将数据保存在内存中是徒劳的。内存中的私有数据由页面文件支持，当Windows需要RAM用于其他进程时，将写入该文件。并在再次访问时回读。这很慢，你使用的内存越多，它就越糟糕。与任何需求页面虚拟内存操作系统一样，磁盘和内存之间的区别很小。

Answer 2

鉴于http://msdn.microsoft.com/en-us/library/system.io.memorymappedfiles.memorymappedfile.aspx上的示例，在我看来，你得到一个滑动窗口，至少这是我在阅读这个例子时所解释的。

这里为方便起见的例子：

    using System;
using System.IO;
using System.IO.MemoryMappedFiles;
using System.Runtime.InteropServices;

class Program
{
    static void Main(string[] args)
    {
        long offset = 0x10000000; // 256 megabytes 
        long length = 0x20000000; // 512 megabytes 

        // Create the memory-mapped file. 
        using (var mmf = MemoryMappedFile.CreateFromFile(@"c:\ExtremelyLargeImage.data", FileMode.Open,"ImgA"))
        {
            // Create a random access view, from the 256th megabyte (the offset) 
            // to the 768th megabyte (the offset plus length). 
            using (var accessor = mmf.CreateViewAccessor(offset, length))
            {
                int colorSize = Marshal.SizeOf(typeof(MyColor));
                MyColor color;

                // Make changes to the view. 
                for (long i = 0; i < length; i += colorSize)
                {
                    accessor.Read(i, out color);
                    color.Brighten(10);
                    accessor.Write(i, ref color);
                }
            }
        }
    }
}

public struct MyColor
{
    public short Red;
    public short Green;
    public short Blue;
    public short Alpha;

    // Make the view brigher. 
    public void Brighten(short value)
    {
        Red = (short)Math.Min(short.MaxValue, (int)Red + value);
        Green = (short)Math.Min(short.MaxValue, (int)Green + value);
        Blue = (short)Math.Min(short.MaxValue, (int)Blue + value);
        Alpha = (short)Math.Min(short.MaxValue, (int)Alpha + value);
    }
}

MemoryMappedFile.CreateViewStream（）的托管内存使用

2 个答案: