尝试使用beautifulsoup刮iframe

时间:2017-02-20 00:33:09

标签: javascript python web-scraping beautifulsoup web-crawler

我想抓一个视频,但beautifulsoup不等待iframe加载。我尝试使用selenium,但谷歌webdriver等待整个页面加载,它需要永远。页面加载完成后,我也无法获取页面源。

这是我用beautifulsoup尝试的代码,但我什么都没得到

def get_vidCode_from_source(source_url):
    source_code = requests.get(source_url)
    plain_text = source_code.text
    soup = BeautifulSoup(plain_text,"html.parser")
    print(soup.find('iframe'))

get_vidCode_from_source('http://anilinkz.io/one-piece-episode-769?src=3')

尝试在iframe中获取视频链接:

enter image description here

除了硒之外能够获得iframe会有什么好处?

1 个答案:

答案 0 :(得分:0)

我知道这有点旧,但是使用selenium并获取页面源使用此代码:

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://anilinkz.io/one-piece-episode-769?src=3')
soup = BeautifulSoup(browser.page_source, "lxml")
browser.close()
for x in soup.find_all('iframe'):
    print(x)