Question

承包商向我们提供了一组商店的调查数据。数据包含商店编号，缩略图图像和大图像。数据通过承包商的安全网站进行访问。为了建立数据报告，我试图从网站上刮取商店数量和图像，而不是手动下载每个图像。

我没有将CFhttp用于安全网站，但迄今为止取得了一些成功：

<cfhttp 
    method="post" 
    url="http://www.website.com/impart/client_login.php"
    throwonerror="Yes"
    redirect = "yes"
    resolveUrl = "yes">

    <cfhttpparam name="user" value="myUsername" type="formfield">
    <cfhttpparam name="pass" value="myPassword" type="formfield">
    <cfhttpparam name="submit" value="Login" type="formfield">

如何将身份验证传递到包含要下载的图像的页面？

Answer 1

我认为CFHTTP可能不是最佳选择。我擅长BASH，所以我倾向于用curl编写脚本，但也许这个页面上的某些产品会更容易http://www.timedicer.co.uk/web-scraping？

Answer 2

cfhttp范围的转储是什么样的？具体来说，状态代码是什么？

如果获得的状态代码为200，则需要在抓取每个图像时保持会话。请参阅以下内容：

http://www.bennadel.com/blog/725-Maintaining-Sessions-Across-Multiple-ColdFusion-CFHttp-Requests.htm

http://www.bennadel.com/projects/cfhttp-session.htm

通过CFHTTP查看此问题以保存图像：

Convert an image from CFHTTP filecontent to binary data with Coldfusion

CFhttp去刮图像

2 个答案: