如何以编程方式尊重Robots.txt文件进行Google搜索

时间:2017-03-09 08:29:04

标签: c#-4.0 google-cloud-platform google-custom-search google-search-api

我想在Google中搜索字词,并使用.Net获得100个结果。我们可以向http://www.google.com/search?q= {searchterm}& num = 100提出请求。但根据Google的服务条款,我们不应该自动化该过程。我验证了Robots.txt文件,我们不应向http://www.google.com/search发送任何请求。我们有Google免费自定义搜索API。它每天只允许100个请求。如果我们想要更多的请求,那么我们需要付费。付款后,我们无法搜索整个网络。免费的Google自定义搜索结果不匹配,如果我们尝试在Google中搜索相同的字词请告诉我如何使用Google合法地获取搜索字词的前100个结果。我们可以进行自动处理吗?它会阻止我们的IP吗?

0 个答案:

没有答案