延迟在网站上抓取JavaScript内容

时间:2018-12-06 08:25:33

标签: html web web-scraping

我正试图抓取this website,以便在发布公告后立即收到通知。我发现公告列表在调用API的Ajax容器中,因此我直接轮询API。但是,我发现有两个延迟:1.在公告API中创建文章与其时间戳之间大约有1分钟的延迟; 2.公告API中的时间戳与浏览器或轮询程序在外部可见之间的延迟约2分钟。这第二个延迟也发生在我正在尝试的另一个网站上。我想知道它的确切原因,以及他们是否正在使用某种掩蔽技术来避免即时检测。如果是这样,请问有什么办法可以绕过蒙版?谢谢。

0 个答案:

没有答案