我正在尝试抓取由JS生成的页面的一部分,以便在源代码中不存在该值。
我正在与BeautifulSoap一起使用Selenium(第一次)(熟悉此功能)。
注意:URL是成人网站!
这是我的代码:
import sys
import urllib2
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup
import re
import pandas as pd
import os
url = "https://www.kink.com/shoot/5540"
options = Options()
options.headless = True
driver = webdriver.Firefox(options=options)
driver.implicitly_wait(30)
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'lxml')
print url
print soup
但是我得到的汤不包含JS生成的位。
我特别需要仅在评分部分注明:“平均评分:58个评分”。
我想念什么?