我试图用Selenium和python抓取一个基于React的网站,但我到达了一个地步,尽管我可以检索Google DevTools Inspector所看到的所有内容,但我找不到该链接到下一页我需要抓取。我想我可以通过单击每个按钮到下一页的方式来执行此操作,尽管我很想知道为什么硒有问题是看到此特定键以及如何解决此问题,因为我必须建立一个数据库,任何“额外”请求都将以指数形式相加。
如您所见,选项卡上的任何地方都没有'key'或href类,但是如果我在React DevTools中查看的话,它就在那里:
所以我的问题是:我有什么办法可以检索那些“钥匙”?
有没有更好的工具来完成这项工作?
提前谢谢!