有没有办法加快这个webscraping迭代?熊猫

时间:2016-11-16 21:54:42

标签: pandas web-scraping

因此,我正在收集股票清单上的数据,并将所有信息放入数据框中。该清单有大约700种股票。

fprintf()

我只是提取该网站的一部分,在下面的代码中以[-2]显而易见

%s

感觉我每次迭代都要做几秒钟,而目前我还有700左右的时间。这不是非常慢,但我只是好奇,如果有一个更有效的方法。感谢。

1 个答案:

答案 0 :(得分:1)

您当前的代码阻止,您不会继续从下一个网址检索信息,直到您完成当前操作。相反,您可以切换到例如基于twisted的{​​{3}}并同时异步处理多个页面。