我已经编写了使用pycurl在google上搜索内容的代码。我希望能够使用pycurl来做到这一点，但非常感谢所有的帮助。我正在寻找能够搜索一个术语，然后“点击下一页按钮”或“点击底部的索引数字”使用pycurl，这样我就可以得到更多，然后只是前10个网页结果。
提前致谢。
答案 0 :(得分：2)
有多种方法可以做到这一点。
如果您的基本网址为http://www.google.co.uk/search?hl=en&q=YOUR_QUERY_STRING
您可以在网址末尾添加＆amp; num = 100，以获得前100个结果。
或者如果您可以添加＆amp; start = N，其中N是10的倍数，并重新发送webrequest以获取下一页
或者您只需使用XPATH来解析网页，并在搜索结果中获取下一页的网址。