我正在尝试抓取该网站“ https://shmoti.com
” 。但是不幸的是,node-fetch的fetch
方法根本没有得到响应。在其他网站上也能正常工作。
这是我的代码
const fetch = require("node-fetch")
fetch('https://shmoti.com', options = {headers : {'User-Agent' : 'Mozilla/5.0'}}).then(res=>res.text()).then(res=>console.log(res))
解析响应对象的第一个承诺一直处于待处理状态。
我什至尝试使用User-Agent。我已将超时设置为60秒。
我可以使用python中的scrapy
库成功抓取此网站,但是使用fetch
方法,它总是超时。
为什么会这样?我怎样才能解决这个问题 ?
我也可以ping通该网站并在浏览器中打开它,但是只有从node的获取不起作用。