Question

我有以下程序来废弃网站上的数据。我想通过使用带有yield的生成器来改进以下代码，而不是按顺序多次调用generate_url和call_me。这种做法的目的是正确理解yield及其可以使用的背景。

import requests                                                                                                                                                                                              
import shutil

start_date='03-03-1997'
end_date='10-04-2015'
yf_base_url ='http://real-chart.finance.yahoo.com/table.csv?s=%5E'
index_list = ['BSESN','NSEI']

def generate_url(index, start_date, end_date):
    s_day = start_date.split('-')[0] 
    s_month = start_date.split('-')[1]
    s_year = start_date.split('-')[2]

    e_day = end_date.split('-')[0] 
    e_month = end_date.split('-')[1]
    e_year = end_date.split('-')[2]
    if (index == 'BSESN') or (index == 'NSEI'):
        url = yf_base_url + index + '&a={}&b={}&c={}&d={}&e={}&f={}'.format(s_day,s_month,s_year,e_day,e_month,e_year)
        return url 

def callme(url,index):
    print('URL {}'.format(url))
    r = requests.get(url, verify=False,stream=True)
    if r.status_code!=200:
        print "Failure!!"
        exit()
    else:
        r.raw.decode_content = True
        with open(index + "file.csv", 'wb') as f:
            shutil.copyfileobj(r.raw, f)
        print "Success"

if __name__ == '__main__':
    url = generate_url(index_list[0],start_date,end_date)
    callme(url,index_list[0])
    url = generate_url(index_list[1],start_date,end_date)
    callme(url,index_list[1])

Answer 1

有多种选择。您可以使用yield来迭代URL。或者超过请求对象。

如果您的index_list很长，我会建议您使用网址。因为那时您可以使用multiprocessing.Pool映射执行请求的函数并将输出保存在这些URL上。这将并行执行它们，可能会使它更快（假设你有足够的网络带宽，并且雅虎财务没有限制连接）。

yf ='http://real-chart.finance.yahoo.com/table.csv?s=%5E'
    '{}&a={}&b={}&c={}&d={}&e={}&f={}'
index_list = ['BSESN','NSEI'] 

def genurl(symbols, start_date, end_date):
    # assemble the URLs
    s_day, s_month, s_year = start_date.split('-')
    e_day, e_month, e_year = end_date.split('-')
    for s in symbols:
        url = yf.format(s, s_day,s_month,s_year,e_day,e_month,e_year)
        yield url

def download(url):
    # Do the request, save the file

p = multiprocessing.Pool()
rv = p.map(download, genurl(index_list, '03-03-1997', '10-04-2015'))

Answer 2

如果我理解正确，您想知道的是如何更改代码，以便您可以替换最后一部分

if __name__ == '__main__':
   for url in generate_url(index_list,start_date,end_date):
       callme(url,index)

如果这是正确的，您需要更改generate_url，而不是callme。改变generate_url是相当机械的。创建第一个参数index_list而不是index，将函数体包装在for index in index_list循环中，然后将return url更改为yield url。

您不需要更改callme，因为您永远不想说for call in callme(...)之类的内容。你不会对它做任何事情，而是正常的函数调用。

在python中使用`yield`关键字的上下文

2 个答案: