我正在尝试从网页上获取视频网址,该视频在使用firefox打开时显示在flash中,因此使用chrome + selenium我可以获取视频网址。
现在我想在azure服务器上部署我的代码,其中不显示chrome窗口。所以我尝试了http://phantomjs.org/。但是phantomjs无法废弃我用铬+硒做的事情。
#driver = webdriver.Chrome() This works well
driver = webdriver.PhantomJS('/usr/local/bin/phantomjs') #this could not scrap
def getVideoTrend(self, item):
driver.get('https://in.news.yahoo.com/video/-184010283.html')
element = WebDriverWait(driver, 20).until(lambda driver: driver.find_elements_by_class_name('yvp-main'))
self.yahoo_video_trend = []
for s in driver.find_elements_by_class_name('yvp-main'):
print "Processing link - ", item['link']
trend = item
print item['description']
trend['video_link'] = s.find_element_by_tag_name('video').get_attribute('src')
print
print s.find_element_by_tag_name('video').get_attribute('src')
self.yahoo_video_trend.append(trend)