由于Instagram API无法正常工作,因此我尝试抓取给定主题标签的信息。在Hash-Tag的搜索页面上,它嵌入了Ajax,因此我遵循在线规则查找在其中检索数据的url。然后我有以下链接。
但是,当我尝试使用Urlopen搜寻该页面时,Instagram阻止了我的搜寻器。我试图使用User-Agent来解决它,但是它不起作用。 然后,我尝试使用Webdriver伪造浏览器,它绕过了障碍,但是从爬网过程中我什么也没得到。 有谁知道这是怎么回事。
options = webdriver.ChromeOptions()
options.add_argument('headless')
driver.get(url)
pagesource = driver.page_source
bsObj = BeautifulSoup(pagesource,'html.parser')
print(bsObj.prettify())
感谢任何帮助!