如何在keep-alive中发送请求＆＃34; urlopen＆＃34;会话使用python？

Question

我试图编写一个基于HTML的抓取工具，可以抓住Twitter用户的所有图片。

我意识到只有当我们向下滚动到底部时才会发送GET请求以加载更多的推文/图片。

但我不知道如何在python代码中模拟它。 这是我的代码，它只能抓住第一页＆＃34;图片。

import urllib2
import urllib
import re
import sys
import os
import urllib3

generalurl='https://twitter.com/'
INPUT_id = raw_input('Please input the target userid:')
targetpage = generalurl + INPUT_id + '/media'


page = urllib2.urlopen(targetpage)
fo = open('test0.html','w')
fo.write(page.read())
fo.close()
fo = open('test0.html','r')
pics = re.findall('(https://pbs.twimg.com/media/\S+.jpg)',fo.read())
fo.close()



for everyid in pics:
    open_ = urllib.urlopen(everyid)
    filename = re.findall('https://pbs.twimg.com/media/(\S+.jpg)',everyid)
    f=open(filename[0],'wb')
    f.write(open_.read())
    f.close()