我需要使用包RCurl来下载各种URL的内容(使用身份验证等)。 为了优化下载速度,我想限制下载的响应输出行/字符,因为我只需要每页的前20行,整个内容大小可能非常大。
使用readLines可以快速完成,例如:
readLines("http://www.nytimes.com/", n = 20L)
但是使用RCurl并指定最大字符参数我没有得到预期的结果:
test <- getURL("http://www.nytimes.com/", write = basicTextGatherer(max = 1000))
> nchar(test)
[1] 125709
根据RCurl FAQ page,定制的回调函数应该可以解决问题,但是,我并不确切知道如何。