Int值在for循环中重置

时间:2017-06-02 03:13:09

标签: python python-2.7 web-scraping

我在python2.7中写了一个web抓取脚本。共有4486页。我必须从每一个中提取标题。我正在使用beautifulSoup。我运行了一个for循环来增加页码,因为url有页面增量。

每个页面有50个条目。但是当我的总条目是12850时,我的python程序停止没有任何错误。

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

from bs4 import BeautifulSoup
import urllib

string = 'https://marketpublishers.com/members/dummyurl/info.html?page='
for i in range(0,4487):
    myUrl = string+str(i)

    r = urllib.urlopen(myUrl).read()
    soup = BeautifulSoup(r, 'html.parser')

    raw = soup.find_all("div", class_='listItemDef')
    file = open('testfile.txt','a')
    for element in raw:
        file.write(element.a.get_text())
        file.write('\n')
    file.close()

我认为它与整数值有关,不能超过256。 我该如何克服这个问题呢?

0 个答案:

没有答案