我有这样的网址列表:
url = ['url_1','url_2', 'url_3']
列表中有300个元素。
由于它们的HTML结构相似,所以我编写了一个函数来对其进行爬网并提取所需的信息:
def get_department_and_units_hours(url):
res = requests.get(url)
soup = BeautifulSoup(res.content, "html.parser")
data = [item.string for item in soup.find_all('td')]
data = data[1:]
return data
然后,我遍历列表并将数据附加到数组中
department_and_units_hours = []
for item in url:
department_and_units_hours.append(get_department_and_units_hours(item))
print(department_and_units_hours)
当我运行它时,它没有任何反应。没事。它无法打印出数组的内容。
我想问为什么会出现问题以及如何解决?我真的不知道。