Question

我正在尝试编写一个网络抓取程序，但我很难理解一个关于字典的非常简单的概念。我想在网站上制作链接的图表（字典）。这是我的代码：

def crawl(site, graph, dist):
    links = analyze(site)
    graph.add(site)              ##graph[site].add(site)? but site isn't yet a key..
    for link in links:
        parsedurl = urlparse(link)
        desc = parsedurl.netloc
        if parsedurl.scheme != 'http' or parsedurl.scheme != 'https':
             continue
        else:
            if link in site:
                continue
            else:
                graph[site].add(link)
    return graph

我无法弄清楚如何将网站添加到图表中，因为我需要有一个图表的密钥（否则我收到错误消息“dict对象没有属性'添加'”）但图表是空的所以网站还不是关键。

任何想法都将不胜感激。谢谢！

Answer 1

将密钥和数据同时作为网站 graph[site]=site

如何将第一个站点添加到Web爬网程序中的图形？

1 个答案: