无法在Twitter中抓取隐藏的内容

时间:2018-01-28 05:35:50

标签: javascript python beautifulsoup python-requests

我最近发布了一个关于如何使用请求库登录Twitter的问题。最后,我得到了解决方案,我面临的另一个问题是我只能抓取页面中的可见内容。如何在该页面中抓取动态加载的内容?

注意:我没有使用硒。请提供任何其他方法来执行此操作。

如何加载动态内容然后抓取它?

1 个答案:

答案 0 :(得分:1)

如果不使用Selenium或其他浏览器(无头或其他),它们将以正常方式实际运行JavaScript,唯一的另一种方法是手动反向设计JavaScript,看看它是什么类型的调用&#39制作,直接制作。

不会有任何其他类型的"一刀切的"溶液