Question

我正在使用Dispatch来下载很多页面，我只需要前几个K，页面有时是千兆字节。在scala-dispatch（dispatch / reboot）中，或者在HTTP请求中，是否有任何方法可以截断收到的正文？

（上下文：我正在从公共数据源读取CSV文件，我只是想获取字段名称（标题行）和一行样本数据。）

Answer 1

您可以使用> handler，这样您就可以访问基础com.ning.http.client.Response实例。从那里，它很简单：

import java.io._
import dispatch._, Defaults._
import com.ning.http.client.Response

def excerpt(bytes: Int) = {
  response: Response =>
    response.getResponseBodyExcerpt(100, "UTF-8")
}

def lines(count: Int) = {
  response: Response =>
    val stream = response.getResponseBodyAsStream
    val reader = new BufferedReader(new InputStreamReader(stream))
    Stream.continually(reader.readLine()).take(count).toList
}

val u = url("http://stackoverflow.com/")
Http(u > excerpt(100)).onComplete(println)
Http(u > lines(2)).onComplete(println)

您也可以尝试使用Range header从服务器请求更小的字节间隔。这需要服务器支持，可以使用HEAD请求进行测试，然后查找Accept-Ranges: bytes响应标头。

有没有办法限制Dispatch收到的HTTP响应体大小？

1 个答案: