无头地使用镀铬与幻影或其他任何东西

时间:2015-06-15 08:24:24

标签: python selenium web-scraping phantomjs

我正在尝试从网页上获取视频网址,该视频在使用firefox打开时显示在flash中,因此使用chrome + selenium我可以获取视频网址。

现在我想在azure服务器上部署我的代码,其中不显示chrome窗口。所以我尝试了http://phantomjs.org/。但是phantomjs无法废弃我用铬+硒做的事情。

#driver = webdriver.Chrome() This works well
driver = webdriver.PhantomJS('/usr/local/bin/phantomjs') #this could not scrap 
def getVideoTrend(self, item):
    driver.get('https://in.news.yahoo.com/video/-184010283.html')
    element = WebDriverWait(driver, 20).until(lambda driver: driver.find_elements_by_class_name('yvp-main'))
    self.yahoo_video_trend = []
    for s in driver.find_elements_by_class_name('yvp-main'):
        print "Processing link  - ", item['link']
        trend = item
        print item['description']
        trend['video_link'] = s.find_element_by_tag_name('video').get_attribute('src')
        print 
        print s.find_element_by_tag_name('video').get_attribute('src')
        self.yahoo_video_trend.append(trend)

0 个答案:

没有答案