Question

我需要在C＃WinForms中声明方形矩阵，连续超过20000个项目。我读到32位的2GB .Net对象大小限制以及64位操作系统中的相同大小写。因此，我理解单一答案 - 使用不安全的代码或使用C ++编译器构建的单独库。

对我来说问题是值得的，因为ushort [20000,20000]小于2GB但实际上我甚至无法分配700MB的内存。我的限制是650MB，我不明白为什么 - 我有32位WinXP和3GB内存。我试图使用Marshal.AllocHGlobal（700＆lt;＆lt; 20）但它抛出OutOfMemoryException，GC.GetTotalMemory在尝试分配内存之前返回4.5MB。

我发现只有很多人说使用不安全的代码，但我找不到如何在堆中声明2-dim数组的示例（任何堆栈都不能保存如此大量的数据）以及如何使用指针处理它。它是不安全的{}括号内的纯C ++代码吗？

PS。请不要问为什么我需要如此庞大的数组...但如果你想 - 我需要分析文本（例如书籍）并找到很多索引。所以答案是 - 词之间的关系矩阵

编辑：有人可以提供一个小的使用不安全代码中的指针处理矩阵的示例。我知道在32位以下不可能分配更多的空间，但我花了很多时间在谷歌搜索这样的例子，发现没什么

Answer 1

为什么要求巨大的二维阵列？例如，您可以使用锯齿状数组 - ushort[][] - 几乎来模拟这一点，并且您不会达到相同的单一对象限制。你当然还需要buckets-o-RAM，所以暗示x64 ......

        ushort[][] arr = new ushort[size][];
        for(int i = 0 ; i < size ; i++) {
            arr[i] = new ushort[size];
        }

除此之外 - 您可能希望查看稀疏数组，eta向量和所有爵士乐。

Answer 2

你甚至无法接近32位Windows中的2Gb分配的原因是CLR中的数组布局在连续的内存中。在32位Windows中，您拥有这样一个受限制的地址空间，您将在该进程的虚拟地址空间中找不到类似于2Gb的空间。您的实验表明，可用地址空间的最大区域为650Mb。迁移到64位Windows至少应该允许您使用完整的2Gb分配。

请注意，32位Windows上的虚拟地址空间限制与计算机中的物理内存量无关，在您的情况下为3Gb。相反，限制是由CPU用于寻址内存地址的位数引起的。不出所料，32位Windows使用32位来访问每个内存地址，这使得总可寻址内存空间为4Gbytes。默认情况下，Windows为自己保留2Gb并为当前正在运行的进程提供2Gb，因此您可以看到为什么CLR不会发现2Gb分配。通过一些技巧，您可以更改操作系统/用户分配，以便Windows仅为自己保留1Gb并提供可能有帮助的运行进程3Gb。但是对于64位窗口，分配给每个进程的可寻址内存最多可跳跃到8TB，因此CLR几乎肯定能够为阵列使用完整的2Gb分配。

Answer 3

我很开心！ :)最近我玩了主题问题 - 尝试使用数据库解决它但只发现这种方式是完美的。 Matrix [20000,20000]实现为单表。即使正确设置了索引，只需要创建超过4亿条记录的时间，我的电脑上大约需要1小时。这对我来说并不重要。然后我运行算法来处理该矩阵（需要两次加入同一个表！）并且在它工作超过半小时后它甚至没有单步执行。在那之后，我明白唯一的办法就是找到一种方法只在内存中使用这种矩阵，然后再回到C＃。

我创建了试验应用程序来测试内存分配过程，并确定使用不同结构的确切分配过程停止的位置。

正如我在第一篇文章中所说，可以在32位WinXP下使用仅仅 650MB 的2-dim阵列进行分配。使用Win7和64位编译后的结果也很难过 - 少于 700MB。

我使用了JAGGED ARRAYS [] []而不是单个2-dim数组[，]，结果你可以看到：

在发布模式下编译为32位应用程序 - WinXP 32bit 3GB phys。 MEM。 - 1.45GB 在发布模式下编译为64位应用程序 - 虚拟机下的Win7 64位2GB - 7.5GB

- 我用于测试的申请来源附于此帖子。我在这里找不到如何附加源文件，所以只需描述设计部分并放在这里手动代码。创建WinForms应用程序。使用默认名称放置这样的控件： 1个按钮，1个numericUpDown和1个列表框在.cs文件中添加下一个代码并运行。

private void button1_Click(object sender, EventArgs e)
        {
            //Log(string.Format("Memory used before collection: {0}", GC.GetTotalMemory(false)));
            GC.Collect();
            //Log(string.Format("Memory used after collection: {0}", GC.GetTotalMemory(true)));
            listBox1.Items.Clear();
            if (string.IsNullOrEmpty(numericUpDown1.Text )) {
                Log("Enter integer value");
            }else{
                int val = (int) numericUpDown1.Value;
                Log(TryAllocate(val));
            }
        }

        /// <summary>
        /// Memory Test method
        /// </summary>
        /// <param name="rowLen">in MB</param>
        private IEnumerable<string> TryAllocate(int rowLen) {
            var r = new List<string>();
            r.Add ( string.Format("Allocating using jagged array with overall size (MB) = {0}", ((long)rowLen*rowLen*Marshal.SizeOf(typeof(int))) >> 20) );
            try {
                var ar = new int[rowLen][];
                for (int i = 0; i < ar.Length; i++) {
                    try {
                        ar[i] = new int[rowLen];
                    }
                    catch (Exception e) {
                        r.Add ( string.Format("Unable to allocate memory on step {0}. Allocated {1} MB", i
                            , ((long)rowLen*i*Marshal.SizeOf(typeof(int))) >> 20 ));
                        break;
                    }
                }
                r.Add("Memory was successfully allocated");
            }
            catch (Exception e) {
                r.Add(e.Message + e.StackTrace);
            }
            return r;
        }

        #region Logging

        private void Log(string s) {
            listBox1.Items.Add(s);
        }

        private void Log(IEnumerable<string> s)
        {
            if (s != null) {
                foreach (var ss in s) {
                    listBox1.Items.Add ( ss );
                }
            }
        }

        #endregion

问题解决了我。伙计们，提前谢谢你们！

Answer 4

如果稀疏数组不适用，最好只在C / C ++中使用与内存映射文件相关的平台API：http://en.wikipedia.org/wiki/Memory-mapped_file

Answer 5

如果您解释了您要做的事情，那么帮助会更容易。也许有比一次分配如此大量内存更好的方法。

重新设计也是这篇伟大博客文章的第一选择：

<强> BigArray, getting around the 2GB array size limit

本文中建议的选项是：

重新设计
包含简单类型的数组的本机内存，此处提供示例代码：
编写一个BigArray类，将大数据结构细分为可管理大小的较小段，上面的示例代码为blog post

Answer 6

对于OutOfMemoryException，请阅读此主题（特别是nobugz和Brian Rasmussen的回答）：
Microsoft Visual C# 2008 Reducing number of loaded dlls

C＃巨大的2-Dim数组

6 个答案: