我尝试过使用:
html = requests.get(my_website).text
soup = BeautifulSoup(html)
print soup.get_text()
但我遇到的问题是Javascript没有被渲染。
答案 0 :(得分:1)
使用BeautifulSoup不会自动呈现JavaScript。您可以尝试使用BeautifulSoup等Selenium
,Mechanize
,PhantomJs
等工具来渲染JavaScript。 Dryscrape也是一个值得研究的好工具。