F#:异步下载数据

时间:2015-03-31 11:19:53

标签: asynchronous f#

我是编程新手,F#是我的第一语言。

以下是我的代码的相关部分:

open System.IO
open System.Net

let downloadHtmlFromUrlAsync (url: string) =
    async { 
        let uri = new System.Uri(url)
        let webClient = new WebClient()
        let! html = webClient.AsyncDownloadString(uri)
        return html
        }

let downloadHtmlToDisk (url: string) (directoryPath: string) = 
    if isValidUrl url then
        let name = getNameFromRedirectedUrl url
        let id = getIdFromUrl url
        let html = downloadHtmlFromUrlAsync url
        let newTextFile = File.Create(directoryPath + "\\" + id.ToString("00000") + " " + name.TrimEnd([|' '|]) + ".html")
        use file = new StreamWriter(newTextFile) 
        file.Write(html) 
        file.Close()

let downloadEntireDatabase (baseUrl: string) (totalNumberOfPeople: int) = 
    let allIds = [ for i in 1 .. totalNumberOfPeople -> i ]

    allIds
    |> Seq.map (fun id -> baseUrl + string(id))
    |> Seq.filter isValidUrl
    |> Seq.map downloadHtmlToDisk
    |> Async.Parallel 
    |> Async.RunSynchronously

我在F#interactive中测试了函数isValidUrl,getNameFromRedirectedUrl,getIdFromUrl。他们工作正常。

我的问题是:当我尝试运行上面粘贴的代码时,会产生以下错误消息:

  

Program.fs(483,8):错误FS0193:类型约束不匹配。类型       seq<(string -> unit)>与类型不兼容       seq<Async<'a>>类型Async<'a>与类型string -> unit

不匹配

出了什么问题?我应该做些什么改变?

1 个答案:

答案 0 :(得分:2)

问题可能是这一行(请你给我们downloadFighterHtmlToDisk的定义):

  allIds
    ...
    |> Seq.map downloadFighterHtmlToDisk
    ...

根据错误消息,此函数似乎有一个签名string -> string -> unit,但您确实需要string -> Async<'something>

现在我猜你使用了downloadHtmlToDisk或者类似的东西你可以但我会建议你把它重写为:

let downloadHtmlToDisk (directoryPath: string) (url: string) = 
    async {
        if isValidUrl url then
            let name = getNameFromRedirectedUrl url
            let id = getIdFromUrl url
            let! html = downloadHtmlFromUrlAsync url
            let newTextFile = File.Create(directoryPath + "\\" + id.ToString("00000") + " " + name.TrimEnd([|' '|]) + ".html")
            use file = new StreamWriter(newTextFile) 
            file.Write(html) 
    }

并像

一样使用它
 let downloadEntireDatabase (baseUrl: string) (totalNumberOfPeople: int) = 
        let allIds = [ for i in 1 .. totalNumberOfPeople -> i ]

        allIds
        |> Seq.map (fun id -> (id, baseUrl + string(id)))
        |> Seq.filter (fun (_,url) -> isValidUrl url)
        |> Seq.map (fun (id,url) -> downloadHtmlToDisk (getFighterPath id) url)
        |> Async.Parallel 
        |> Async.RunSynchronously

参见 let! html = ..?这很重要 - 这是async将要发生的地方;) - 如果您需要,您可以找到类似的操作来异步编写文件。此外,您不需要关闭文件 - 处理它应该处理它

备注

我刚刚看到你从网址中重新提取了id - 你也可以使用它而不是我使用元组的方式,但我认为如果你仍然需要它,真的传递id会更好 - 对于downloadHtmlToDisk中的示例您确实需要id并且可能已经从url创建了id - 这是一种更容易的方法IMO但我不想重写你要去的一切 - 只是尝试一下这个东西