我试图通过C＃获取google中的前1000个搜索结果链接。到目前为止，我已经修改了Shiv Kumar的Finding links on a Web page 寻找链接： string webpageUrl =＆＃34; http：//www.google.com/search？hl = en＆amp; num = 100＆amp; q =＆＃34; +＆＃34;概念＆＃34 ;; 但是，由于谷歌页面没有显示所有1000个结果，我需要找到获得其余部分的方法。 可以在没有谷歌api的情况下完成吗？
gilibi
答案 0 :(得分：5)
我建议您使用API。
使用HTML中的“屏幕抓取”是有问题的，需要经常进行维护工作 - 特别是在Google这样的页面上，这几乎肯定会每年更改几次，并且经常使用重定向来跟踪链接使用情况。
或者，如果您确实想要使用HTML路由，那么请查看查询参数 - 例如“＆amp; start = 10” - 这应该允许你遍历页面。
但是不能保证查询参数永远保持不变。