如何自动化Web scraper选择器规则?

时间:2016-12-16 06:03:50

标签: python selenium web-scraping beautifulsoup

我计划自动化网络刮刀选择器规则。目前我们正在使用selenium来抓取网页。它的普遍问题是网站倾向于改变他们的DOM结构。如果特定规则中断,有没有办法自动化该过程,那么它应该基于新的DOM结构重构规则。我知道当Dom结构完全改变时,它很难做到。但有没有办法识别和修复叶片级别的变化?

据我所知,没有python框架可以直接解决它。我应该采取哪些python库来帮助我?

0 个答案:

没有答案