修复haskell中破坏的utf8编码

时间:2013-06-18 08:08:43

标签: haskell utf-8 character-encoding

在SO人的帮助下,我成功实施了simple rss downloader in haskell。 但仍有一个问题:如何修复Feed项标题的破碎编码? 这是最小的工作示例:

import Control.Monad
import Control.Applicative
import Network.HTTP
import Text.Feed.Import
import Text.Feed.Query
import Text.Feed.Types
import Data.Maybe
import qualified Data.ByteString as B
import Network.URI (parseURI, uriToString)
import Codec.Binary.UTF8.String (decodeString, encodeString)

getTitleAndUrl :: Item -> (Maybe String, Maybe String)
getTitleAndUrl item = (getItemTitle item, getItemLink item)

downloadUri :: (Maybe String,Maybe String) -> IO ()
downloadUri (Just title,Just link) = do
  item <- get link
  B.writeFile title item
    where
      get url = let uri = case parseURI url of
                      Nothing -> error $ "invalid uri" ++ url
                      Just u -> u in
                simpleHTTP (defaultGETRequest_ uri) >>= getResponseBody
downloadUri _ = print "Somewhere something went Nothing"

getTuples :: IO (Maybe [(Maybe String, Maybe String)])
getTuples = fmap (map getTitleAndUrl) <$> fmap (feedItems) <$> parseFeedString <$> decodeString <$> (simpleHTTP (getRequest "http://index.hu/24ora/rss/") >>= getResponseBody)

main = getTuples

打印出来像

Just [...,(Just "Gyalogosbaleset miatt \225ll a t\246megk\246zleked\233s a Margit h\237don",Just "http://velvet.hu/blogok/helyszinelo/2013/06/18/gyalogossbaleset_miatt_all_a_tomegkozlekedes_a_margit_hidon/"),...]

我进行了一些研究,Feed的项目标题被<![CDATA[]]所包围,因此xml解析器会跳过它们。

示例项目:

<item>
        <title><![CDATA[Gyalogosbaleset miatt áll a tömegközlekedés a Margit hídon]]></title>
        <link>http://velvet.hu/blogok/helyszinelo/2013/06/18/gyalogossbaleset_miatt_all_a_tomegkozlekedes_a_margit_hidon/</link>
        <pubDate>Tue, 18 Jun 2013 09:08:00 +0200</pubDate>
        <category domain="main"></category>
        <description><![CDATA[A tájékoztatás szerint a budai hídfő megállójában elesett egy gyalogos, jelenleg pótlóbuszok közlekednek.]]></description>
        <content:encoded><![CDATA[A tájékoztatás szerint a budai hídfő megállójában elesett egy gyalogos, jelenleg pótlóbuszok közlekednek.]]></content:encoded>
</item>

如何强制utf8编码到这个字符串?

1 个答案:

答案 0 :(得分:7)

好的,我会在这里复制我的评论:

  1. Haskell字符串是Unicode字符串。它们不是UTF-8或UTF-任何东西 - 它们只是Unicode代码点的列表。

  2. 您只是查看show字符串的结果。这就是Show实例的工作原理 - 你无法对此做任何事情。如果你打印字符串 - 例如与putStrLn - 你会看到它打印正常。字符串是正确的,只是你正在看它的方式逃脱了一些字符。