这个Web爬虫代码有什么问题?

时间:2013-08-15 12:25:56

标签: python python-2.7 web web-crawler

所以,我基本上要做的是找到特定页面的链接(这里是10)。一切正常,我甚至正确得到索引(startlink,startquote,endquote)。但是,URL不打印。为什么?而且,出了什么问题?如果你能纠正它,我会很高兴的!

def web():
n=0
a=open('quora.txt', 'r') #I've saved it as a txt file in my system
b=a.read()
startlink=0
while(n<10):
    startlink=b.find('<a href=', startlink+1)
    startquote=b.find('"', startlink)
    endquote=b.find('"', startquote)
    url=b[startquote+1:endquote]
    print url, startlink, startquote, endquote
    n=n+1

这是我得到的输出,只有索引。不,URL

4506 4514 4514
5308 5316 5316
5357 5365 5365
5472 5480 5480
5515 5523 5523
5588 5596 5596
5639 5647 5647
5723 5731 5731
6828 6836 6836
6867 6875 6875

1 个答案:

答案 0 :(得分:0)

对endquote的搜索应该在startquote的位置后开始一个字符:

def web():
    n = 0
    a = open('quora.txt', 'r') #I've saved it as a txt file in my system
    b = a.read()
    startlink = 0
    while (n < 10):
        startlink = b.find('<a href=', startlink + 1)
        startquote = b.find('"', startlink)
        endquote = b.find('"', startquote + 1)
        url = b[startquote + 1:endquote]
        print url, startlink, startquote, endquote
        n = n + 1

因为现在它与endquote的相同startquote匹配