刮擦infinte卷轴 - GET url无法正常工作

时间:2017-10-24 16:04:59

标签: json web-crawler screen-scraping import.io

我正在使用in="$source" out="$solution" perl -pe 's/\Q$ENV{"in"}/$ENV{"out"}/g' <<<"$target" 来抓取import.io,正如我通常所做的那样,无限滚动我打开devtools,查看网络并获取angel.co请求正确的分页。

现在,当我使用angel.co时,它根本不起作用。

这是我的GET请求:

GET

即使实际上有正确的分页,它也不适用于https://angel.co/companies/startups?ids%5B%5D=155618&ids%5B%5D=238203&ids%5B%5D=228828&ids%5B%5D=228837&ids%5B%5D=34454&ids%5B%5D=212959&ids%5B%5D=106075&ids%5B%5D=212446&ids%5B%5D=92216&ids%5B%5D=199453&ids%5B%5D=194318&ids%5B%5D=60461&ids%5B%5D=186506&ids%5B%5D=185905&ids%5B%5D=185820&ids%5B%5D=173350&ids%5B%5D=169237&ids%5B%5D=171703&ids%5B%5D=152063&ids%5B%5D=148409&total=149&page=5&sort=joined&new=false&hexdigest=302cb17792e051f215c6bbaac5786ee35415c894

有什么想法吗?

谢谢你!

最好,

0 个答案:

没有答案