我正在做一个研究项目，为此我需要获得近150万查询的结果。
任何人都可以建议我如何实现它？如果它有帮助我只需要来自特定网站的结果。
我看到所有搜索引擎都提供API，但我认为任何人都没有可以处理数百万次查询的免费限制。
任何建议都将不胜感激
答案 0 :(得分：0)
您可以抓取该网站并使用您自己的搜索引擎进行查询。例如，您可以使用Apache Lucene作为提供＆＃34;搜索引擎的开源库。功能。您需要为每个页面创建一个文档，并将其提供给IndexWriter，然后再查询索引。
另一种方法是使用搜索引擎提供的paid API，它允许更多的查询。