Question

对这个模糊而混乱的标题感到抱歉。但是，用一句话总结我的问题并没有更好的方法。

我试图从法国网站上获取学生和成绩信息。链接是这个（http://www.bankexam.fr/resultat/2014/BACCALAUREAT/AMIENS?filiere=BACS）

我的代码如下：

import time
import urllib2
from bs4 import BeautifulSoup
regions = {'R\xc3\xa9sultats Bac Amiens 2014':'/resultat/2014/BACCALAUREAT/AMIENS'}
base_url = 'http://www.bankexam.fr'
tests = {'es':'?filiere=BACES','s':'?filiere=BACS','l':'?filiere=BACL'}
for i in regions:
    for x in tests:
        # create the output file
        output_file = open('/Users/student project/'+ i + '_' + x + '.txt','a')
        time.sleep(2) #compassionate scraping
        section_url = base_url + regions[i] + tests[x]  #now goes to the x test page of region i 
        request = urllib2.Request(section_url)
        response = urllib2.urlopen(request)
        soup = BeautifulSoup(response,'html.parser')
        content = soup.find('div',id='zone_res')
        for row in content.find_all('tr'):
            if row.td:
                student = row.find_all('td')
                name = student[0].strong.string.encode('utf8').strip()
                try:
                    school = student[1].strong.string.encode('utf8')
                except AttributeError:
                    school = 'NA'
                result = student[2].span.string.encode('utf8')
                output_file.write ('%s|%s|%s\n' % (name,school,result))
        # Find the maximum pages to go through
        if soup.find('div','pagination'): 
            import re
            page_info = soup.find('div','pagination')
            pages = []
            for i in page_info.find_all('a',re.compile('elt')):
                try:
                    pages.append(int(i.string.encode('utf8')))
                except ValueError:
                    continue
            max_page = max(pages)
            # Now goes through page 2 to max page
            for i in range(1,max_page):
                page_url = '&p='+str(i)+'#anchor'
                section2_url = section_url+page_url
                request = urllib2.Request(section2_url)
                response = urllib2.urlopen(request)
                soup = BeautifulSoup(response,'html.parser')
                content = soup.find('div',id='zone_res')
                for row in content.find_all('tr'):
                    if row.td:
                        student = row.find_all('td')
                        name = student[0].strong.string.encode('utf8').strip()
                        try:
                            school = student[1].strong.string.encode('utf8')
                        except AttributeError:
                            school = 'NA'
                        result = student[2].span.string.encode('utf8')
                        output_file.write ('%s|%s|%s\n' % (name,school,result))

关于代码的更多描述：我创建了一个＆＃39;地区＆＃39;字典和＆＃39;测试＆＃39;字典，因为我需要收集其他30个地区，我只是在这里展示一个。我只对三项测试（ES，S，L）的测试结果感兴趣，因此我创建了这些测试＆＃39;字典。

两个错误不断出现，一个是

KeyError: 2

并且错误与第12行相关联，

section_url = base_url + regions[i] + tests[x]

另一个是

TypeError: cannot concatenate 'str' and 'int' objects

这与第10行相关联。

我知道这里有很多信息，我可能没有列出最重要的信息来帮助我。但请告诉我如何解决这个问题！感谢

Answer 1

问题是您在多个地方使用变量i。

在文件顶部附近，您可以：

for i in regions:

因此，在某些地方，i应该是regions词典的关键。

以后再次使用时会出现问题。你可以在两个地方这样做：

for i in page_info.find_all('a',re.compile('elt')):

和

for i in range(1,max_page):

其中第二个是导致异常的原因，因为分配给i的整数值没有出现在regions dict中（也不能将整数添加到字符串中）

我建议重命名部分或全部变量。如果可能的话，给他们提供有意义的名字（i对于“索引”变量可能是可接受的，但除非你打算打高尔夫球，否则我会避免将其用于其他任何事情。）

我的python web scraper中的KeyError和TypeError

1 个答案: