Question

我最近询问了this有关在BeautifulSoup中编码印地语字符的问题。这个问题的答案确实解决了这个问题，但我有另一个问题。

我的代码是：

import urllib2
from bs4 import BeautifulSoup

htmlUrl = "http://archives.ndtv.com/articles/2012-01.html"
FileName = "NDTV_2012_01.txt"

fptr = open(FileName, "w")
fptr.seek(0)

page = urllib2.urlopen(htmlUrl)
soup = BeautifulSoup(page, from_encoding="UTF-8")

li = soup.findAll( 'li')
for link_tag in li:
  hypref = link_tag.find('a').contents[0]
  strhyp = hypref.encode('utf-8')
  fptr.write(strhyp)
  fptr.write("\n")

我收到错误

Traceback (most recent call last):
File "./ScrapeTemplate.py", line 29, in <module>
hypref = link_tag.find('a').contents[0]
IndexError: list index out of range

当我替换print strhyp而不是fptr.write()时似乎有效。我该如何解决这个问题？

编辑：代码中有一个我没有发现的错误。修正了它，但我仍然遇到同样的错误。

Answer 1

错误原因与写入文件无关。似乎link_tag.find('a').contents有时会返回一个空列表，并在您尝试获取第一个项目时出错。你可以尝试这样的事情：

for link_tag in li:
    try:
        hypref = link_tag.find('a').contents[0]
    except IndexError:
        print link_tag #print link tag where it couldn't extract the 'a'
        continue
    strhyp = hypref.encode('utf-8')
    fptr.write(strhyp)
    fptr.write("\n")

Answer 2

您的代码正在跳过页面底部的链接。略过这些：

for link_tag in li:
  contents = link_tag.find('a').contents
  if len(contents) > 0:
    hypref = contents[0]
    strhyp = hypref.encode('utf-8')
    fptr.write(strhyp)
    fptr.write("\n")

将BeautifulSoup内容写入文件

2 个答案: