Http-Conduit频繁连接失败

时间:2013-11-16 10:45:18

标签: networking haskell conduit stability

我正在编写将通过HTTP下载一些文件的应用程序。到目前为止,我使用以下代码片段来下载页面正文:

import network.HTTP
simpleHTTP (getRequest "http://www.haskell.org/") >>= getResponseBody

它工作正常,但无法通过HTTPS协议建立连接。所以为了解决这个问题,我已经切换到HTTP-Conduit,现在我正在使用以下代码:

simpleHttp' :: Manager -> String -> IO (C.Response LBS.ByteString)
simpleHttp' manager url = do
     request <- parseUrl url
     runResourceT $ httpLbs request manager

它可以连接到HTTPS,但出现了新的令人沮丧的问题。大约每五个连接失败,例外:

getpics.hs: FailedConnectionException "i.imgur.com" 80

我确信这是HTTP-Conduit问题,因为network.HTTP在同一组页面上工作正常(不包括https页面)。

有没有人遇到过这样的问题并且知道解决方案或更好(并且简单,因为这是一个简单的任务,不应该只需要几行代码)替代Conduit库?

1 个答案:

答案 0 :(得分:1)

一个简单的替代方法是使用curl包。它支持HTTP,HTTPS和许多其他替代协议,以及many options来自定义其行为。价格是在构建软件包所需的libcurl上引入外部依赖。

示例:

import Network.Curl

main :: IO ()
main = do
  let addr = "https://google.com/" 
  -- Explicit type annotation is required for calls to curlGetresponse_.
  -- Use ByteString instead of String for higher performance:
  r <- curlGetResponse_ addr [] :: IO (CurlResponse_ [(String,String)] String)

  print $ respHeaders r
  putStr $ respBody r

更新:我试图复制您的问题,但一切都适合我。你可以发一个Short, Self Contained, Compilable, Example来证明这个问题吗?我的代码:

import Control.Monad
import qualified Data.Conduit as C
import qualified Data.ByteString.Lazy as LBS
import Network.HTTP.Conduit

simpleHttp'' :: String -> Manager -> C.ResourceT IO (Response LBS.ByteString)
simpleHttp'' url manager = do
     request <- parseUrl url
     httpLbs request manager

main :: IO ()
main = do
  let url = "http://i.imgur.com/"
      count = 100
  rs <- withManager $ \m -> replicateM count (simpleHttp'' url m)
  mapM_ (print . responseStatus) $ rs