我有一个工作中的Web应用程序，并且它的日期和管理非常过时，我对此没有任何影响。但是该站点包含大量我想挖掘的有价值的信息。我可以理解，但是它被埋在一棵古老的左侧导航树中，大约有1,000种物品，深度从1到7层不等。我可以抓取源代码以获取顶层1,000个项目，但是我必须单击打开所有层中的每个项目才能获得我真正想要的数据。 python / scrapy可以自动扩展整个树吗？还有另一种方法可以使它自动化。该网站位于2FA后面，除非您单击导航树中的javascript链接，否则HTML不会显示任何内容。如果我已经在桌面上打开了网站，我希望有办法做到这一点？有任何想法吗？我需要自动打开的链接是这样的：
<img src="data:image/gif;base64,asasdsfsdasdafs" class=" x-tree-elbow-img x-tree-elbow-plus x-tree-expander">