有没有办法使用刮刀向下滚动Instagram页面?

时间:2018-06-06 02:48:16

标签: python-3.x web-crawler

这是我写的一个函数,用于从我的Instagram个人资料中删除图片网址。

def ImageList():
    url = 'https://www.instagram.com/Username/?hl=en'
    data = req.Request(url)
    resp = req.urlopen(data)
    respData = resp.read()

    dat = re.findall(r'"src"\s*:\s*"(.+?)"', str(respData))

    print(str(respData))
    i = 0
    rec = []
    for x in dat:
        if re.search("/s640x640/", x):
            rec.append(x)
    return rec

虽然效果很好,但它只返回前9个网址左右。我意识到这是因为页面本身是一个无限滚动页面,因此我需要滚动页面来加载所有图像并获取其URL。

在没有使用驱动程序(Selenium Webdriver)的情况下是否可以执行此操作,即为其编写自己的代码。

我知道Instagram有一个API,这里的目标是让我的代码自给自足,请不要用它轰炸我,谢谢。

0 个答案:

没有答案