Python-从csv到.py程序的馈送链接

时间:2018-09-03 19:59:57

标签: python

我一直在使用beautifulsoup开发基于csv的图像抓取工具。这是因为下载前必须修改链接。

这是代码的基础:

    import requests
    import csv
    from bs4 import BeautifulSoup
    from urllib import urlretrieve
    import csv
    import os
    import sys


    url = '..............'


    r = requests.get(url)
    soup = BeautifulSoup(r.content,'lxml')

    with open('output.csv', 'wb') as f:
        bsoup_writer = csv.writer(f) 
        for link in soup.find_all('a',{'class': '........'}):
            bsoup_writer.writerow([link.get('href')]) 

这只是主要代码的一部分,在您所在的页面/链接上非常有效。话虽如此,我想使用其他带有链接列表的csv文件(这将是爬网文件)以馈送给此代码/ py程序,以便它可以从该csv文件中的每个链接下载。因此,是否可以修改url变量以调用csv文件并遍历其中的链接?

0 个答案:

没有答案