tidhttp获取程序不适用于某些网址

时间:2010-03-12 01:40:51

标签: delphi indy

我在delphi Tidhttp组件中遇到问题,其中GET过程无法获取特定的URL,但在其他URL上它正在工作。示例:此代码返回一个空的response.datastring。 Response.datastring仅对此error_url为空,但对于其他url,response.datastring具有值。我需要获取该error_url的内容来解决此问题。

procedure TForm1.Button1Click(Sender: TObject);
var
  Response : TStringStream;
  error_url: string;
begin
  error_url := 'http://www.chefscatalog.com/international/home.aspx'; //error url
  Response := TStringStream.Create;
  try
    IdHTTP1.Get(error_url, Response);
    Memo1.Text := Response.DataString;
  finally
    FreeAndNil(Response);
  end;
end;

顺便说一句,idHTTP1重定向属性在这里设置为true,因此重定向不是问题。

这是我遇到的例外情况: 1.发现http / 1.1 302 2. EDecompressionError,消息'ZLib Error(-3)'

您可以在此链接下载此项目的源代码(indytest.zip)http://www.yourfilelink.com/get.php?fid=534933

请帮帮我们。在此先感谢:)

2 个答案:

答案 0 :(得分:2)

原因是你试图点击的网站正在寻找一个cookie,如果没有设置它会尝试设置它,然后302重定向回到它自己。

因为您没有连接cookie管理器,所以您最终会进入302重定向循环,因为该站点会不断检查cookie,设置然后重定向。

处理cookie,只需一个302即可正常使用。


然而,似乎由于某种原因,Indy忽略了本网站发送的cookie。如果我点击http://www.google.com我得到了

,我就掀起了一些测试代码
New cookie: PREF
New cookie: NID
Redirecting (1) to: http://www.google.co.nz/
New cookie: PREF
New cookie: NID

这是谷歌发送的标题

Set-Cookie: PREF=ID=3c7e441914b902ae:TM=1268686477:LM=1268686477:S=Z-Gwqx52jK0V1rYR; expires=Wed, 14-Mar-2012 20:54:37 GMT; path=/; domain=.google.com
Set-Cookie: NID=32=vsOZvkr4AOZ7320d_OBPf2zR2jau4E6pupbOe_ZaaX4DNjahTzSV-mSA55naTk-5cXQcn7SNEp7uSxbE_cFrL9ZftGApTGZMPGKzcz3_NZE_2MYpWG5PGbwWFw9t2d_R; expires=Tue, 14-Sep-2010 20:54:37 GMT; path=/; domain=.google.com; HttpOnly

但是对于那个其他网站,我在调试输出中得到了这个

Redirecting (1) to: http://www.chefscatalog.com/error.aspx?impsid=0
Redirecting (2) to: http://www.chefscatalog.com/error.aspx?impsid=0

一直到15次尝试.. 如果我们查看网站发回的标题

Set-Cookie: ASP.NET_SessionId=4o0bpi45evee0d45qos1uy55; path=/; HttpOnly
Set-Cookie: ChefsSite=CartID=00000000-0000-0000-0000-000000000000&cst=f4t8YpBpAAkNiRUd9BEf2luKAA%3d%3d&act=c0f2VBCSbv30F4kasnvWS5OfJQ%3d%3d&CookiesEnabled=False; expires=Wed, 14-Apr-2010 20:54:22 GMT; path=/

我注意到网站错过了Set-Cookie末端的域名,这很奇怪,但我不认为这是RFC必须的。如果我们看看idCookieManager的AddCookie / 2方法,它想要那个参数上的主机,那么也许它不会对任何不给域的Set-Cookies起作用。

我已在多个网站上对此进行了测试,如果Set-Cookie包含domain = .google.com,则所有工作都正常。

如果你看一下,在idHttp.OnRedirect上注意到它也很有趣

idHttp.Response.RawHeaders.Text

对于不起作用的网站,您没有看到Set-Cookies,但在有效的网站上看到了Set-Cookies ...

但是,如果我将idhttp useragent设置为

    Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.1) Gecko/20100122 firefox/3.6.1

(来自另一个答案)

然后它似乎很好地提取饼干

    New cookie: ASP.NET_SessionId
    New cookie: ChefsSite
    Redirecting (1) to: http://www.chefscatalog.com/international/home.aspx
    New cookie: ChefsSite

怪异。

答案 1 :(得分:1)

检查OnRedirect事件。出于某种原因,您被重定向到错误页面。

http://www.chefscatalog.com/error.aspx?impsid=0

反过来,将您重定向回同一个错误页面,直到耗尽RedirectMaximum(15)。

<强>更新

一旦您被重定向到错误页面,Wizzard会在下面解释为什么它会一遍又一遍地重定向回相同的错误页面。饼干。

您首先被重定向的原因可能是该网站无法识别(或类似)您的user agent string(在“请求”属性中)。默认情况下,它是“Mozilla / 3.0(兼容; Indy库)”。将其更改为FireFoxIE或其他已识别浏览器使用的当前字符串。

我尝试使用“Mozilla / 5.0(X11; U; Linux i686; en-US; rv:1.9.2.1)Gecko / 20100122 firefox / 3.6.1”,它似乎工作正常。

您可以在Indy KB PDF

中找到更多详细信息