Selenium和BeautifulSoap,刮JS生成页面的一部分

时间:2019-04-15 07:03:23

标签: python selenium web-scraping beautifulsoup

我正在尝试抓取由JS生成的页面的一部分,以便在源代码中不存在该值。

我正在与BeautifulSoap一起使用Selenium(第一次)(熟悉此功能)。

注意:URL是成人网站!

这是我的代码:

import sys
import urllib2
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup
import re
import pandas as pd
import os

url = "https://www.kink.com/shoot/5540"

options = Options()
options.headless = True
driver = webdriver.Firefox(options=options)
driver.implicitly_wait(30)
driver.get(url)

soup = BeautifulSoup(driver.page_source, 'lxml')

print url

print soup

但是我得到的汤不包含JS生成的位。

我特别需要仅在评分部分注明:“平均评分:58个评分”。

我想念什么?

0 个答案:

没有答案