我正在尝试使用Scrapy从Youtube抓取一些评论。但是，当我进入scrapy shell模式并用view(response)打开它时，除了加载微调器之外，我找不到任何注释。
scrapy shell https://www.youtube.com/watch?v=kkl7-NzqxWo
view(response)
在评论部分向我显示无限旋转器。我如何也可以加载评论以便抓取？
答案 0 :(得分：1)
这是因为Scrapy不支持JS。因此，注释会带有额外的请求https://www.youtube.com/comment_service_ajax?action_get_comments=1...（请检查Chrome devtools面板中的“网络”标签）。
您可以：