修复一个特别模糊的Haskell空间泄漏

Question

因此，在我从一些Haskell中挤出最后一点性能后，我正在使用将推文数据分解为n-gram，我遇到了空间泄漏问题。当我进行分析时，GC使用大约60-70％的过程，并且有大量内存部分专用于拖动。希望一些Haskell大师能够在我出错的时候提出建议。

{-# LANGUAGE OverloadedStrings, BangPatterns #-}
import Data.Maybe
import qualified Data.ByteString.Char8 as B
import qualified Data.HashMap.Strict as H
import Text.Regex.Posix
import Data.List
import qualified Data.Char as C

isClassChar a = C.isAlphaNum a || a == ' ' || a == '\'' ||
                a == '-' || a == '#' || a == '@' || a == '%'

cullWord :: B.ByteString -> B.ByteString
cullWord w = B.map C.toLower $ B.filter isClassChar w

procTextN :: Int -> B.ByteString -> [([B.ByteString],Int)]
procTextN n t = H.toList $ foldl' ngram H.empty lines
  where !lines        = B.lines $ cullWord t
        ngram tr line = snd $ foldl' breakdown (base,tr) (B.split ' ' line)
        base          = replicate (n-1) ""

breakdown :: ([B.ByteString], H.HashMap [B.ByteString] Int) -> B.ByteString -> ([B.ByteString],H.HashMap [B.ByteString] Int)
breakdown (st@(s:ss),tree) word =
  newStack `seq` expandedWord `seq` (newStack,expandedWord)
      where newStack     = ss ++ [word]
            expandedWord = updateWord (st ++ [word]) tree

updateWord :: [B.ByteString] -> H.HashMap [B.ByteString] Int -> H.HashMap [B.ByteString] Int
updateWord w h = H.insertWith (+) w 1 h

main = do
  test2 <- B.readFile "canewobble"
  print $ filter (\(a,b) -> b > 100) $ 
     sortBy (\(a,b) (c,d) -> compare d b) $ procTextN 3 test2

Answer 1

一个小优化是在对数据进行排序之前过滤数据（使用HashMap.filter）。这帮助我减少了最后执行时间2秒。我做的另一件事是使用序列（Data.Sequence）而不是列表（没有明显的区别:-(）。我的版本可以找到here。

查看堆配置文件，我认为您的程序中没有空间泄漏：

你只是在内存中构建了一个相当大的哈希表（377141个键值对），然后在经过一些处理后将其丢弃。根据{{​​3}}，这个大小的哈希表大约需要。 5 * N + 4 *（N-1）个字= 3394265 * 4个字节〜= 13个MiB，这与堆配置文件显示的内容一致。剩余空间由键和值获取。在我的机器上，在GC中花费的时间大约是40％，这听起来并不合理，因为你不断更新哈希表和临时“堆栈”，而没有做任何计算繁重的数据。由于您需要哈希表的唯一操作是insertWith，或许最好使用Johan's post？

更新：mutable data structure有趣的是，速度差异并不大，但内存使用情况略好一些：

如您所见，为哈希表分配的块的大小在整个执行过程中保持不变。