有没有办法在没有库的情况下抓取动态网站?

时间:2021-05-29 11:30:07

标签: javascript ajax web axios web-crawler

我正在使用“axios”从网站 (https://movie.daum.net/premovie/released) 中抓取数据

我需要 ol 标签下的 li 标签数据,但 li 标签未显示在源代码中。

element tab in dev tool

source tab in dev tool

我猜该站点使用 JavaScript 等动态呈现 li 标签,但我不知道如何在加载所有标签后抓取它们。

关键是,我想在没有任何与像木偶一样爬行相关的库的情况下做到这一点。

如果你知道怎么做,请告诉我怎么做。谢谢。

==============

找到解决方法!

[웹 크롤링] JavaScript로 된 html 불러오기

它是用韩文写的,但真的很有帮助。

1 个答案:

答案 0 :(得分:0)

找到解决方法!

我发现 XHR 存在于开发工具的网络选项卡中。 所以我请求'get' axios 方法到XHR url,而不是网页的url。

[웹 크롤링] JavaScript로 된 html 불러오기

我在这里找到了! 它是用韩文写的,但真的很有帮助。