我正在尝试开发搜寻器功能,以收集来自确实的所有分页链接,以在我的Scraper程序中进一步使用。
# This function take a list of indeed pagination links grabbed in previous function to iterate and
# return a list with all the pagination links
def crawlPagination(url_list):
pages= url_list
for page in pages:
urls_in_page = # Function to get pagination from individual page
for url in urls_in_page:
if url not in pages: pages.append(url)
return pages
我试图制作一个进度条以显示在终端中,但我不知道要获取所有链接将需要进行多少次迭代,因为某些页面的结果要多于其他页面。我有办法做到这一点吗?