取消Google搜索的推荐搜索部分,该怎么办?

时间:2019-05-02 04:14:37

标签: python web-scraping google-search

我的工作是让我负责制作一个关键字生成器,然后使用其关键字,将其放入google搜索,然后在搜索页面底部返回推荐的搜索(这是一个奇怪的项目,我知道)。关于如何从Google抓取搜索有很多问题,但是似乎没有任何符合我需要的答案。我将不胜感激。

如果有问题,我正在使用Python 3.7。

为澄清起见,谷歌在搜索页面底部提供了与我输入的搜索类似的推荐搜索列表。那就是我要找的东西。搜索结果本身是不必要的。

2 个答案:

答案 0 :(得分:0)

我认为这段代码可能会对您有所帮助,请尝试运行此代码。

def autocomplete(query):
    depth = 1
    lang = 'en'
    if depth == 0:
    return '----'
    response = requests.get('https://clients1.google.com/complete/search', params={
        'client': 'hp',
        'h1': lang,
        'q': query
    }).text
    sugg = []
    data1 = response[response.index('(') + 1:-1]
    o = json.loads(data1)
    for result in o[1]:
        suggestion = result[0].replace('<b>', '').replace('</b>', '')
        sugg.append(suggestion)
    return sugg`

我曾经将它用于我的项目...

答案 1 :(得分:0)

您应该使用pygoogling模块在Google中进行搜索,它会返回链接列表,您可以根据需要对其进行排序。请先安装此模块,然后再执行。使用此命令安装此软件包“ pip3 install pygoogling”

from pygoogling.googling import GoogleSearch
search_word = input('Enter keywords what do you want to search :')
Number_of_pages = int(input("enter number of pages you want to scrap from google :"))
google_search = GoogleSearch(search_word)
google_search.start_search(max_page=Number_of_pages)


result_list = google_search.search_result
print(result_list[::-1])