我有一个100万网站网址列表，我有一个关键字列表。我想用Google在这些网站上逐一搜索这些关键字;如果我发现某些东西意味着它对我来说是一个有效的URL。
我在谷歌搜索找到一些工具来做，我发现了两个。
安装完所有内容之后https://github.com/NikolaiT/GoogleScraper我发现此刮刀不支持“as_sitesearch”作为搜索参数，因此我无法通过网站进行搜索。
第二个相同：http://jaunt-api.com/jaunt-tutorial.htm
有没有好的工具呢？
答案 0 :(得分：2)
我是GoogleScraper的程序员。您可以使用＆＃39; as_sitesearch＆＃39;当您为100万个关键字使用关键字文件时的参数。
只需使用GoogleScraper：
GoogleScraper --mode selenium --keyword-file you-keyword.txt --proxy-file your-proxies
文件 you-keyword.txt 如下所示：
site:yourdomain.com some sneaky words
site:yourdomain2.com some other words
...
查看所有帮助：
GoogleScraper --help
干杯