我一直在使用beautifulsoup开发基于csv的图像抓取工具。这是因为下载前必须修改链接。
这是代码的基础:
import requests
import csv
from bs4 import BeautifulSoup
from urllib import urlretrieve
import csv
import os
import sys
url = '..............'
r = requests.get(url)
soup = BeautifulSoup(r.content,'lxml')
with open('output.csv', 'wb') as f:
bsoup_writer = csv.writer(f)
for link in soup.find_all('a',{'class': '........'}):
bsoup_writer.writerow([link.get('href')])
这只是主要代码的一部分,在您所在的页面/链接上非常有效。话虽如此,我想使用其他带有链接列表的csv文件(这将是爬网文件)以馈送给此代码/ py程序,以便它可以从该csv文件中的每个链接下载。因此,是否可以修改url变量以调用csv文件并遍历其中的链接?