Question

作为一名初学者，我已经受到严密警告，以避免资源繁重的浏览器进行网络抓取，例如Selenium。

然后我查看了这个网站：Intcomex Webstore

我的想法是制作一个提醒程序，告诉我价格以及物品数量是否少。

我不能为我的生活弄清楚如何通过CSV / EXML文件或直接获取任何此类信息。

我可能会使用requests，但它只会将javascript函数作为链接返回：href="javascript:PriceListExportCSV('/en-XUS/Products/Csv','query‌');

在我点击CSV链接后的开发者工具中，我看到了对http://store.intcomex.com/en-XUS/Products/Csv

的GET请求

但是，如果我使用请求，我会收到status_code = 404。

非常感谢任何指导我正确方向的帮助。

Answer 1

在听取了许多有用的评论者的建议后，我得出的结论是我确实需要使用Selenium这样的浏览器。

虽然它可能不是理想的解决方案，但目前似乎只是可行的解决方案。

from selenium import webdriver

browser = webdriver.Chrome()

browser.get('http://store.intcomex.com/en-XUS/Products/ByCategory/cpt.allone?r=True')

browser.execute_script("javascript:PriceListExportCSV('/en-XUS/Products/Csv','query');")

我必须从这里弄明白......

从使用Javascript的网站收集CSV / EXML文件

1 个答案: