需要一次读取10个网址,以加快python抓取速度。储存在csv档案中的网址

时间:2018-10-20 20:15:55

标签: python multithreading multiprocessing python-multithreading

我要从存储在csv文件中的每个网址中抓取公司名称。

      @Override
    protected void onCreate(Bundle savedInstanceState) {
         ..........
       YourASynctask yourasynctask = new YourASynctask (pass params if it's necessary);
       yourasynctask.execute();
}

1 个答案:

答案 0 :(得分:0)

html = requests.get(url).content是代码中“繁重的”部分。它下载网站。为了加快代码的速度,您希望同时下载多个网站。

浏览asyncio或此帖子:https://stackoverflow.com/a/40392029/47351