标签： python web-scraping scrapy
我正在尝试计算在浏览器中可见的单词。 我正在使用Scrapy来获取链接并使用Selector解析主题。
问题是尽管可见度，我仍然只能计算所有文本（隐藏在菜单中，在块引用中...），并且搜索网站是网址列表（结构不同）
您有什么建议吗？
答案 0 :(得分：0)
Scrapy仅提供页面源代码（ctrl + u），以获取您必须使用Selenium或渲染时要渲染的页面，与Selenium相比，我的启动速度不快，但Selenium可以完全控制您的视线