标签： html scrapy
我正在使用scrapy来获取文章的评论。
例如，testPage在文章末尾有评论。
我如何才能访问这些评论？ 似乎scrapy下载的html不包含对评论的引用。
提前致谢。
答案 0 :(得分：1)
据我所知，scrapy看到一个禁用了javascript的网页，这些是Facebook评论，也就是说它们是通过该网页上的javascript来提取的。
您可能需要查看How to combine scrapy and htmlunit to crawl urls with javascript