如何单击/使用从Python中的Beautiful Soup解析的链接

时间:2018-07-26 08:44:35

标签: python selenium beautifulsoup python-requests

你好,我是python的初学者,我对从这里去哪里感到困惑

使用bs4搜索后,如何与特定链接互动/单击?因此,在我的脚本中,我使用bs4搜索链接,这些链接可以在网页中使用特定的关键字进行点击,因此我点击了正确的产品。

onSale = False  # Set while loop variable
shoeName = 'moon'  # Set keyword to look for
browser = webdriver.Chrome()


browser.get(r'https://www.nike.com/launch/?s=upcoming')  # Get URL to scan
soup = BeautifulSoup(browser.page_source, 'html.parser')  # Convert URL to a soup object


while onSale is False:  # Create loop to keep checking inventory

for link in soup.find_all('a', class_=r'card-link d-sm-b'):
    shoeCode = str((link.get('href', None), link.get_text()))
    compareName = re.sub("[^\w]", " ", shoeCode.lower()).split()  # Takes the link and converts it into a string

    if shoeName in compareName:  # Checks to see if the keyword is used

       # Interact/Click link

    else:
        print(shoeCode)

        continue

找到正确的链接后,如何使用它与网站进行交互?我是否使用selenium,urllib和or请求?谢谢!

1 个答案:

答案 0 :(得分:0)

您可以使用硒单击链接,可以查看如何进行此操作here。或者,在获取包含请求的页面(忘记urllib)并使用bs4提取URL后,您可以requests.get('your_example_url')对其进行重新获取。