我正在尝试在集群计算环境（运行CentOS版本6.2 Final的IBM LSF）上运行Java应用程序，它可以为我提供高达1TB的RAM空间。
我可以创建一个最大内存（Xmx）高达300GB的JVM，虽然我需要更多（如果需要，我可以提供详细信息）。
但是，使用Xmx选项创建具有超过300GB最大内存的JVM似乎是不可能的。更具体地说，我收到了经典的错误消息：
VM初始化期间发生错误。
无法为对象堆保留足够的空间。
我的（64位）JVM的详细信息如下：
OpenJDK运行时环境（IcedTea6 1.10.6）（rhel-1.43.1.10.6.el6_2-x86_64）
OpenJDK 64位服务器VM（内置20.0-b11，混合模式）
我也尝试使用Java 7 64位JVM，但我遇到了完全相同的问题。
此外，我尝试创建一个JVM来运行HelloWorld.jar，但是如果你要求超过-Xmx300G，JVM创建仍然会失败，所以我不认为它与特定应用程序有任何关系。
有没有人知道为什么我不能创建超过300G的最大内存的JVM？
任何人都可以建议解决方案/解决方法吗？
答案 0 :(得分：18)
我可以想到几个可能的解释：
您系统上的其他应用程序使用的内存太多，目前还没有300Gb 。
每进程内存大小可能存在资源限制。您可以使用ulimit进行检查。 （请注意，根据this bug，如果每个进程的资源限制停止JVM分配堆区域，您将收到错误消息。）
这也可能是过度提交＆＃34;问题;例如如果您的应用程序在虚拟环境中运行，整个系统无法满足需求，因为与其他虚拟机的竞争太多。
建议的其他一些想法（IMO）不太可能：
切换JRE不太可能有任何区别。我从未在特定的64位JVM中听到或看到任意内存限制。
不太可能是由于没有足够的连续内存。当然不需要连续的物理内存。唯一的可能是交换设备上的连续空间，但我不记得这是典型Linux操作系统的问题。
任何人都可以建议解决方案/解决方法吗？
检查ulimit。
编写一个小型C程序，尝试malloc大量内存并查看在失败之前可以分配多少内容。
向系统（或管理程序）管理员寻求帮助。
答案 1 :(得分：15)
（已编辑，请参阅有关交换空间的已添加部分）
由于您使用的是CentOS，因此您可能遇到了SHMMAX和SHMALL内核设置的类似问题，如here for configuring the Oracle DB所述。在同一链接下是获取和设置正确的SHMALL设置的示例计算。
某些用户已经报告说没有足够的连续内存，其他用户表示这是无关紧要的。
我不确定CentOS上的JVM是否需要连续的内存块。 According to SAS，碎片化的内存可能会阻止您的JVM使用较大的最大Xmx或启动Xms内存设置启动，但互联网上的其他声明称它并不重要。我尝试在我的48GB Windows工作站上证明或取消该声明，但设法以初始和最大设置40GB启动JVM。我很确定没有那种大小的连续块可用，但是不同操作系统上的JVM可能表现不同，因为每个操作系统的内存管理可能不同（即，Windows通常会隐藏单个进程的物理地址）。
使用/proc/meminfo查找可用的最大连续内存块，请参阅VmAllocChunk下的值。 Here's a guide and explanation所有价值观。如果您看到的值小于300GB，请尝试一个低于VmAllocChunk值的值。
但是，通常这个数字高于物理可用内存（因为它是可用的虚拟内存值），它可能会给你误报。这是您可以保留的值，但一旦开始使用它，可能需要交换。因此，您还应该检查MemFree和Inactive值。相反，您还可以查看整个列表，看看哪些值不超过300GB。
我不确定为什么你似乎遇到300GB的内存限制问题。有那么一刻，我以为你可能会打到最多的页面。默认值为4kB，300GB提供78,643,200个页面。看起来不像一些众所周知的神奇数字。例如，如果2^24是最大值，那么16,777,216页面或64GB应该是理论上可分配的最大值。
然而，假设为了论证你需要更大的页面（事实证明，对于大型内存Java应用程序的性能更好），你应该consult this manpage on JBoss，它解释了如何使用{{ 1}}并设置-XX:+UseLargePages（再次出现），kernel.shmmax和vm.nr_hugepages（不确定后者是否必需）。
其他人已经提出过这个建议。要找出问题在于JVM而不是操作系统，你应该对它进行压力测试。您可以使用的一个工具是Stresslinux。 In this tutorial，您可以找到一些可以使用的选项。您特别感兴趣的是以下命令：
vm.huge_tlb_shm_group如果该命令失败或锁定了您的系统，您就会知道操作系统正在限制使用该内存量。如果成功，我们应该尝试调整JVM，以便它可以使用可用内存。
内部存储器大小非常大的系统，使用很少或没有交换空间的情况并不少见。对于许多应用程序，这可能不是问题，但JVM要求交换可用交换空间大于请求的内存大小。根据{{3}}，JVM将尝试增加交换空间本身，但是，正如this bug report中的一些答案一样，JVM可能并不总是能够这样做。
因此：使用stress --vm 2 --vm-bytes 300G --timeout 30s --verbose
检查当前可用的交换空间，如果小于300GB，请按this SO thread suggested增加系统的交换空间。
注1：我们可以从the instructions on this CentOS manpage中扣除可用交换空间的连续块不是必需的。但如果你不确定，bugreport #4719001，它应该删除任何碎片。
注意2：我看过几个帖子，例如remove all swap space and recreate it报告cat /proc/swaps # free交换空间和能够运行JVM。这可能是由于JVM增加了交换空间本身。尝试手动增加交换空间以确定是否可以解决您的问题仍然没有什么坏处。
我意识到上述情况不是对您的问题的开箱即用的答案。我希望它能为您提供一些指导，但您可以尝试使JVM正常工作。您可能还尝试其他JVM，如果问题证明是您当前使用的JVM的限制，但从我到目前为止所读到的内容来看，64位JVM不应该受到限制。 。
你在初始化JVM时遇到错误导致我认为问题不在于JVM，而是操作系统无法满足300GB内存的预留。
我自己的测试显示JVM可以访问所有虚拟内存，并不关心可用的物理内存量。如果虚拟内存低于物理内存会很奇怪，但0MB设置会给你一个提示（通常会大得多）。
答案 2 :(得分：4)
如果您查看Java HotSpot VM的FAQ section，它提到在64位VM上，只有64个地址位可供使用，因此最大Java堆大小取决于数量物理记忆和交换空间存在于系统上。
如果从理论上计算出来，那么你可以记忆 18446744073709551616 MB ，但它有以上限制。
您必须使用-Xmx命令来定义JVM的最大堆大小，By default，Java在64位JVM上使用64 + 30％= 83.2MB。
我在我的机器上尝试了以下命令，它看起来工作正常。
java -Xmx500g com.test.TestClass
我也尝试用TB来定义最大堆，但它不起作用。
答案 3 :(得分：0)
运行ulimit -a作为JVM Process的用户，并验证您的内核不限制您的最大内存大小。您可能需要编辑/etc/security/limit.conf
答案 4 :(得分：0)
根据this discussion，LSF不会将节点内存池化为单个共享空间。你正在使用别的东西。阅读那些东西的文档，因为它可能无法完成你要求它做的事情。特别是，它可能无法分配跨越所有节点的单个连续内存区域。通常这不是必需的，因为应用程序会对malloc进行多次调用。但是JVM为自己简化了事情，希望通过有效地调用malloc一次为整个堆分配（或保留）一个连续的区域。或者它可能与您用来模拟巨型共享内存机器的其他内容相关。