Question

以下问题基于此question的接受答案。接受回答的作者说xml-conduit中的流助手API多年来没有更新（来源：accepted answer of SO question），他推荐Cursor接口。

根据第一个问题的解决方案，我编写了以下haskell代码，该代码使用Cursor包的xml-conduit接口。

import Text.XML as XML (readFile, def)
import Text.XML.Cursor (Cursor, ($/), (&/), ($//), (>=>), 
    fromDocument, element, content)
import Data.Monoid (mconcat)
import Filesystem.Path (FilePath)
import Filesystem.Path.CurrentOS (fromText)

data Page = Page
    { title :: Text
    } deriving (Show)

parse :: FilePath -> IO ()
parse path = do
    doc <- XML.readFile def path
    let cursor = fromDocument doc
    let pages = cursor $// element "page" >=> parseTitle
    writeFile "output.txt" ""
    mapM_ ((appendFile "output.txt") . (\x -> x ++ "\n") . show) pages

parseTitle :: Cursor -> [Page]
parseTitle c = do
    let titleText = c $/ element "title" &/ content
    [Page (mconcat titleText)]

main :: IO ()
main = parse (fromText "input.xml")

此代码适用于小型XML文件。但是，当代码在30G XML文件上运行时，执行将被操作系统杀死。

如何让这段代码在一个非常大的XML文件上运行？

Answer 1

Cursor模块要求整个内容都在内存中，在这种情况下似乎是不可能的。如果要处理大型文件，则需要使用流式界面。

如何使用xml-conduit Cursor接口从大型XML文件（大约30G）中提取信息

1 个答案: