Question

我有一段代码，它通过以顺序方式转到链接来检索一系列股票的目标网址。我已经读过可以考虑多处理来加速整个过程。

任何专家都可以解释如何将代码更改为多处理模式？

在我看来，如果代码必须按顺序爬到每个目标URL，那么瓶颈将是浏览器的访问速度。只是想知道使用多处理是否是加速它的方法因为程序可以产生相同代码的多个版本并同时转到3-4个URL并将结果传递回代码等。

index = 0
stop = len(stock) - 1
stockURL = {}
stockmap = {}

while index <= stop:
    tag = str(int(2) + index)
    if index <= 7:
        w.iimPlayCode(path to my file)
        w.iimPlayCode('WAIT SECONDS=5')
        w.iimPlayCode('ADD !EXTRACT {{!URLCURRENT}}')
        stockURL[index] = w.iimGetExtract(1)
        w.iimPlayCode('BACK')        
        index +=1
    else:
        w.iimPlayCode(path to my file)
        w.iimPlayCode('WAIT SECONDS=5')
        w.iimPlayCode('ADD !EXTRACT {{!URLCURRENT}}')
        stockURL[index] = w.iimGetExtract(1)
        w.iimPlayCode('BACK')
        index += 1  

stockURL = list(stockURL.values())
stockURL = str(u','.join(stockURL))
stockURL = stockURL.replace('http', 'URL GOTO=http').split(',')
stockURL = list(stockURL)

stockmap = dict(zip(stocks, stockURL))

我可以考虑在下面使用多处理吗？

0 个答案: