我使用for循环来浏览网站的某些目录。
for url in URL_list:
for paged in range(1,99):
fullURL=("%s/?count=96&paged=%s&p=&page_id="%(url,paged))
print(fullURL)
source= urllib.request.urlopen(fullURL)
我收到错误http.client.BadStatusLine: <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
我很确定问题是由fullURL
字符串变量引起的,因为它打印为http://www.somesite.com/category/new-items
/?count=96&paged=1&p=&page_id=
编辑1 看起来像&#34; url&#34;列表中的变量与空格一起存储。
答案 0 :(得分:0)
所以我设法使用以下代码修复它。希望它能帮助将来的某个人。
for url in URL_list:
for paged in range(1,99):
URLDirectory="/?count=96&paged=%s&p=&page_id="%paged
fullURL=url+directoryURL
fullURL=''.join(fullURL.split())