如何在python Web搜寻器中搜寻网址列表?

时间:2018-07-09 23:57:41

标签: python beautifulsoup request web-crawler

我有这样的网址列表:

url = ['url_1','url_2', 'url_3']

列表中有300个元素。

由于它们的HTML结构相似,所以我编写了一个函数来对其进行爬网并提取所需的信息:

def get_department_and_units_hours(url):
    res = requests.get(url)
    soup = BeautifulSoup(res.content, "html.parser")
    data = [item.string for item in soup.find_all('td')]
    data = data[1:]
    return data

然后,我遍历列表并将数据附加到数组中

department_and_units_hours = []
for item in url:
    department_and_units_hours.append(get_department_and_units_hours(item))

print(department_and_units_hours)

当我运行它时,它没有任何反应。没事。它无法打印出数组的内容。

错误消息: enter image description here

我想问为什么会出现问题以及如何解决?我真的不知道。

0 个答案:

没有答案