从谷歌图片搜索中刮取数据

Question

我有一些产品图片，我需要使用谷歌图片找到类似的产品。我相信谷歌不允许你轻易地从中获取数据。

• 那么，它真的不是吗？

• 我如何绕过它？代理+ tor +组合可能是无头浏览器？

• 我可以使用更好的图像数据源/搜索引擎吗？

任何帮助将不胜感激。

Answer 1

你是对的，their robots.txt不允许通过此规则从任何抓取工具中抓取：

User-agent: *
Disallow: /search

但是，使用Google Custom Search API可能会有运气。