Python3字符串变量不断弄乱我的urllib.request

时间:2017-02-17 10:08:47

标签: python-3.x urllib bs4

我使用for循环来浏览网站的某些目录。

for url in URL_list:

    for paged in range(1,99):
        fullURL=("%s/?count=96&paged=%s&p=&page_id="%(url,paged))

        print(fullURL)
        source= urllib.request.urlopen(fullURL)

我收到错误http.client.BadStatusLine: <!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> 我很确定问题是由fullURL字符串变量引起的,因为它打印为http://www.somesite.com/category/new-items /?count=96&paged=1&p=&page_id=

编辑1 看起来像&#34; url&#34;列表中的变量与空格一起存储。

1 个答案:

答案 0 :(得分:0)

所以我设法使用以下代码修复它。希望它能帮助将来的某个人。

for url in URL_list:
       for paged in range(1,99):
            URLDirectory="/?count=96&paged=%s&p=&page_id="%paged
            fullURL=url+directoryURL
            fullURL=''.join(fullURL.split())