Question

我在haskell中实现了一个服务器进程，它充当一个简单的内存数据库。客户端进程可以连接然后添加和检索数据。该服务使用的内存比我预期的多，而且我试图找出原因。

我最粗略的指标是linux“top”。当我开始这个过程时，我看到“VIRT”图像大小约为27MB。在运行客户端以插入60,000个数据项后，我看到图像大小为~124MB。

运行流程以捕获GC统计信息（+ RTS -S），我最初看到了

Alloc    Copied     Live    GC    GC     TOT     TOT  Page Flts
bytes     bytes     bytes  user  elap    user    elap
28296      8388      9172  0.00  0.00    0.00    0.32    0    0  (Gen:  1)

并且在添加60k项目时，我看到实时字节平滑增长到

   ...
   532940     14964  63672180  0.00  0.00   23.50   31.95    0    0  (Gen:  0)
   532316      7704  63668672  0.00  0.00   23.50   31.95    0    0  (Gen:  0)
   530512      9648  63677028  0.00  0.00   23.50   31.95    0    0  (Gen:  0)
   531936     10796  63686488  0.00  0.00   23.51   31.96    0    0  (Gen:  0)
   423260  10047016  63680532  0.03  0.03   23.53   31.99    0    0  (Gen:  1)
   531864      6996  63693396  0.00  0.00   23.55   32.01    0    0  (Gen:  0)
   531852      9160  63703536  0.00  0.00   23.55   32.01    0    0  (Gen:  0)
   531888      9572  63711876  0.00  0.00   23.55   32.01    0    0  (Gen:  0)
   531928      9716  63720128  0.00  0.00   23.55   32.01    0    0  (Gen:  0)
   531856      9640  63728052  0.00  0.00   23.55   32.02    0    0  (Gen:  0)
   529632      9280  63735824  0.00  0.00   23.56   32.02    0    0  (Gen:  0)
   527948      8304  63742524  0.00  0.00   23.56   32.02    0    0  (Gen:  0)
   528248      7152  63749180  0.00  0.00   23.56   32.02    0    0  (Gen:  0)
   528240      6384  63756176  0.00  0.00   23.56   32.02    0    0  (Gen:  0)
   341100  10050336  63731152  0.03  0.03   23.58   32.35    0    0  (Gen:  1)
     5080  10049728  63705868  0.03  0.03   23.61   32.70    0    0  (Gen:  1)

这似乎告诉我堆有大约63MB的实时数据。这可能与顶部的数字一致，当您添加堆栈空间，代码空间，GC开销等时。

所以我试图使用堆分析器来计算出构成的东西这个63MB。结果令人困惑。用“+ RTS -h”运行，并查看生成的hp文件，最后一个和最大的快照有：

containers-0.3.0.0:Data.Map.Bin 1820400
bytestring-0.9.1.7:Data.ByteString.Internal.PS  1336160
main:KV.Store.Memory.KeyTree    831972
main:KV.Types.KF_1  750328
base:GHC.ForeignPtr.PlainPtr    534464
base:Data.Maybe.Just    494832
THUNK   587140

快照中的所有其他数字都比这小得多。添加这些内容会使峰值内存使用量达到~6MB，如中所示图表输出：

enter image description here

为什么这与GC统计信息中显示的实时字节不一致？它的很难看出我的数据结构如何需要63MB，以及分析师说他们不是。记忆在哪里？

感谢您提出任何建议或指示。

添

Answer 1

我有一个理论。我的理论是你的程序使用了很多像ByteStrings这样的东西。我的理论是，因为ByteStrings的主要内容是malloc，所以在分析时不会显示它们。因此，您可能会用完堆，而不会在分析图上显示堆的最大内容。

更糟糕的是，当你获取ByteStrings的子串时，它们默认保留指向最初分配的内存块的指针。因此，即使您尝试仅存储一些ByteString的小片段，您最终也可能会保留最初分配的ByteString，这将不会显示在您的堆配置文件中。

无论如何，那是我的理论。我不知道GHC的堆分析器如何工作的充分事实，也不知道ByteStrings如何实现以确定。也许其他人可以插话并证实或质疑我的理论。

Edit2：tibbe指出ByteString使用的缓冲区是固定的。因此，如果您正在分配/释放大量小Bytestring，那么您可以对堆进行分段，这意味着您的可用堆耗尽，其中一半未分配。

编辑：JaffaCake告诉我，有时堆分析器不会显示ByteStrings分配的内存。

Answer 2

您应该使用例如hp2ps来获取正在发生的事情的图形视图。查看原始hp文件很困难。

Answer 3

默认情况下，并非所有内容都包含在配置文件中，例如线程和堆栈。试试+RTS -xT。

我该如何解释ghc堆探查器的输出？

3 个答案: