抓地力和可能性

Question

我正在研究网页抓取/抓取的可能性，并一直在阅读Scrapy计划。我想知道是否有人知道是否可以在脚本中输入说明，以便一旦访问了网址，便可以从网站的日历中选择预选的日期。 ？ 最终结果将用于在Trivago等网站上进行价格比较。我希望我可以让程序像人类一样选择某些条件，例如在网站上选择日期。

谢谢， 亚历克斯

Answer 1

从理论上讲，对于Trivago这样的网站，您可以使用URL设置要查询的日期，但是您将需要研究用户代理和代理，因为否则您的IP将会很快被列入黑名单。