将网站隐藏在加载页面后面

时间:2016-11-30 20:45:00

标签: bash curl web cloudflare

某些网站(example)在向您展示其实际内容之前会显示“加载”屏幕。

http://www9.watchdbs.xyz/

如果我curl该网站,我会收到此加载屏幕,而不是我想要的内容。

bash程序如何获取网页的实际内容,而不是这个“重定向”页面?

1 个答案:

答案 0 :(得分:1)

现代网站往往非常有活力,至少与早期网站相比。因此,网站运营商有很多机会隐藏内容;一个常见的是加载所有内容,但使用Javascript隐藏它,在这种情况下,禁用Javascript会阻止隐藏代码"从跑步。

在这种情况下,该网站似乎使用Cloudflare作为CDN。您的请求将发送到Cloudflare的服务器,然后转发到实际的底层站点。如果Cloudlfare决定您的浏览器看起来像威胁,他们可能会决定进行一些额外的检查 - 但显然他们并没有决定$getItemsOneDay = Deposit::where('steam_user_id',0)->where('status', Deposit::STATUS_ACTIVE)->where('created_at', '>', Carbon::now()->subMinutes(1440))->get(); $getItemsOneWeek = Deposit::where('steam_user_id',0)->where('status', Deposit::STATUS_ACTIVE)->where('created_at', '>', Carbon::now()->subMinutes(10080))->get(); $getItemsOneMonth = Deposit::where('steam_user_id',0)->where('status', Deposit::STATUS_ACTIVE)->where('created_at', '>', Carbon::now()->subMinutes(43200))->get(); 。我们无法知道他们的决定究竟是基于什么,但他们可以完全控制决定使用哪种HTML。