我正在开发一个网络报废应用程序,并正在使用ebay进行测试。问题是应用程序应该遵循链接“下一步”(页面底部的那个应该转到结果的下一页),但它有点停留在同一页面上(是的,我实际上不确定那)。如果您尝试打开易趣并搜索任何会产生多个页面结果的术语,然后复制“下一步”链接并将其粘贴到新窗口或右键单击它并在新选项卡/窗口中选择打开,它将保持在同一页面上。我在Chrome和IE8上测试过它。所以我的问题是这些浏览器在实际关注链接时会做什么(当我点击它时),以便我可以对我的抓取应用程序做同样的事情? (哦,顺便说一句,我正在研究C#)
答案 0 :(得分:1)
在eBay的情况下,它只是一个普通的链接(至少在http://www.ebay.com上,寻找page 2 of TV's)所以问题可能出在您的代码上(例如,您是否存储了Cookie?)。根据你的描述,它听起来是一个AJAX请求,它将“引导”并从服务器获取XML,该服务器由客户端的JavaScript呈现。
传统上,AJAX请求很难遵循。然而,在ebay的情况下,我建议使用ebay查询信息的界面。如果要构建通用Web爬网程序,请远离AJAX请求。大多数时候谷歌也不会打扰。
答案 1 :(得分:0)
我做了element.InvokeMember("click");
(其中element
是HtmlElement
)并且它有效。不知道为什么。无论如何,我会看看那个HTTP GET的东西。