网络抓取并从网站获取不同商品的最快方法是什么

时间:2019-11-02 23:12:50

标签: javascript python selenium web-scraping request

我一直在使用Selenium和请求编写一个用Python编写的网络抓取项目。每当我需要数据时,我都会发送一个请求以获取它(或使用Selenium),每个请求都需要时间。

我的问题是,是否有任何选择可以在Python甚至JavaScript中的1个请求中获取很多不同的数据(例如产品名称+价格+运费)?

给出一个网址,例如:https://www.amazon.com/Dell-Inspiron-7573-i7-8550U-Windows/dp/B07NRC8ZXC/ref=sr_1_1_sspa?keywords=laptop+i7&qid=1572590892&sr=8-1-spons&psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyNjFPSFdTOEpVODdQJmVuY3J5cHRlZElkPUEwNTU5Nzk1MlBGWFkxU0JKOVlLNiZlbmNyeXB0ZWRBZElkPUEwNjU0MzYwM0NRT01ER1oxSDdMOCZ3aWRnZXROYW1lPXNwX2F0ZiZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=

注意:您将此问题标记为与该问题重复-How to click on Load More button within Google Trends and print all the titles through Selenium and Python 请问那些是不同的问题,我要问的是在不同“范围”下获得该产品的价格,名称和运费,她问有关要获得相同的“对象”(例如名称)! 因此,如果您知道其他方式来获取这些东西,而不是发送3个不同的请求来获取它们,我很想听听他们...我听说有一种方法可以将几个请求合并为一个大请求javascript,是真的吗?

1 个答案:

答案 0 :(得分:0)

还有人在等待答案吗?