简单的网络爬虫我需要消除数组中出现的重复的URL

Question

我正在使用数组来存储URL，我需要消除数组中多次出现的URL，因为我不需要再次抓取相同的URL：

self.level = []  # array where the URL are present 
for link in self.soup.find_all('a'):
    self.level.append(link.get('href'))
    print(self.level)

我需要在抓取此网址之前消除重复的网址。

Answer 1

维护set个网址：

self.level = set()
for link in self.soup.find_all('a'):
    self.level.add(link.get('href'))