Question

我尝试在谷歌搜索引擎中搜索“sunday”这个词。

结果总数为1.390.000.000。但是我只能看到前420个结果，直到42页结果。

有没有办法获取谷歌搜索的所有结果？

Answer 1

您可以使用google模块来控制查询结果的数量。

使用pip安装它：

pip install google

用法：

from google import search

n = 10  # number of results
query = 'sunday'
results = google.search(query, stop=n)  # returns a generator

for result in results:
    print(result)

在使用此方法之前，请记住pause参数：

pause（float） - 在HTTP请求之间等待的时间间隔。如果时间过长会导致搜索速度变慢，但过长的时间可能会导致Google阻止您的IP。您的里程可能会有所不同！

Docs

Answer 2

这个Google的“功能”以及其他搜索引擎也适用于网络界面。第一页要求的匹配数不会反映在实际返回的结果数中。

例如，如果您search Google for "Systematic Literature Review"会在首页上声明几百万个结果，但是如果您转到第3页（每页100个结果），则会将估算值“修订”为200-300结果。

这在初始估计中似乎太高了，但是可能是过滤大型数据集的问题，并且可以原谅。但是，对于该主题返回的实际结果肯定太少了。 Bing和DuckDuckGo相似。 Google学术搜索声称获得11k左右的结果，但如果尝试超过1000，则会返回服务器错误。

推测：这可能是为了鼓励人们更改搜索条件，而不是返回大量结果，然后将结果以编程方式在本地进行过滤（这是我想做的！）。

恐怕这并不是获得更多结果的答案，但这是一种解释，问题不是库，而是搜索引擎。

Google搜索结果限制

2 个答案: