刮痧网站:无法点击按钮

时间:2016-07-18 08:03:41

标签: python-3.x web-scraping beautifulsoup screen-scraping

我正在试图抓住这个网站 https://www.underarmour.com/en-us/womens/apparel/sports-bras?lsg=4eab83ec-bc9d-495a-bf57-7b49b43c7560

使用美国作为国家/地区

我正在尝试清除附加到图像的所有链接。

但无论我做什么,我都无法点击LOAD MORE按钮。

2 个答案:

答案 0 :(得分:0)

此网站似乎是动态的,因此我建议使用Selenium。是否更容易“点击”按钮和所有内容,因为它模仿真实用户并启动真正的浏览器。如果您想加快一点,请使用PhantomJS作为浏览器。

这是一个教程:Selenium with Python

答案 1 :(得分:0)

我建议使用Selenium和PhantomJS。

你应该能够找到一个解决方法AJAX id问题,许多网站使用生成的id,但该元素仍然具有相同的位置,所以通过css选择它将是一个选项我想。我以前遇到过这个问题,我要做的是用selenium获取html然后使用lxml / cssselect(python)我会找到按钮点击然后我会点击它们在活动浏览器上“注入”js代码,但我假设你可以跳过python部分。