如何通过更改URL来检查网页的存在,请查看详细信息?

时间:2016-03-14 14:02:10

标签: javascript python curl web urllib

如果我们有网址:

https://www.example.com/123.html

我希望通过更改网址的某些部分来检查是否存在其他网页,在这种情况下,我们可以通过更改数字来完成。

因此:

https://www.example.com/124.html 

那么我怎么能这样做呢,比如运行一个脚本,通过更改(在这种情况下,最后三个数字,比如从000到999)来检查此目录中网页的存在?

1 个答案:

答案 0 :(得分:0)

要格式化数字,您可以在早期版本的Python的更高版本(> = 2.7?)或format中使用x.zfill(3)和格式字符串。请参阅this question

在循环中发出请求:

import requests

for x in range(1000):
   page = requests.get('https://www.example.com/{0:03d}.html'.format(X))
   print(page.content)