Question

我目前正在浏览AutomateTheBoringStuff的Web Scraping部分，并尝试编写一个脚本，使用BeautifulSoup4从Google Translate中提取翻译后的单词。

我检查了一个页面的html内容，其中'说明'是翻译后的单词：

<span id="result_box" class="short_text" lang="en">  
    <span class>Explanation</span>
</span>

使用BeautifulSoup4，我尝试了不同的选择器，但没有任何东西可以返回翻译的单词。以下是我尝试的一些示例，但它们根本没有返回任何结果：

soup.select('span[id="result_box"] > span')  
soup.select('span span')

我甚至直接从开发者工具中复制了选择器，这给了我 #result_box＆gt;跨度即可。这再次没有返回结果。

有人可以向我解释如何将BeautifulSoup4用于我的目的吗？这是我第一次使用BeautifulSoup4，但我认为我或多或少正在使用BeautifulSoup因为选择器

soup.select('span[id="result_box"]')

获取外部元素**

[<span class="short_text" id="result_box"></span>]

**不确定为什么'leng =“en”'部分缺失但我相当确定无论如何都找到了正确的元素。

以下是完整的代码：

import bs4, requests

url = 'https://translate.google.ca/#zh-CN/en/%E6%B2%BB%E5%85%B7'
res = requests.get(url)
res.raise_for_status
soup = bs4.BeautifulSoup(res.text, "html.parser")
translation = soup.select('#result_box span')
print(translation)

编辑：如果我将谷歌翻译页面保存为离线html文件，然后从该html文件中制作一个汤对象，那么定位元素就没有问题。

import bs4

file = open("Google Translate.html")
soup = bs4.BeautifulSoup(file, "html.parser")
translation = soup.select('#result_box span')
print(translation)

Answer 1

result_box div是正确的元素，但您的代码仅在您将浏览器中显示的内容保存为包含动态生成的内容时才会起作用，使用您只获得源本身的请求动态生成的内容。翻译是通过对以下网址的ajax调用生成的：

"https://translate.google.ca/translate_a/single?client=t&sl=zh-CN&tl=en&hl=en&dt=at&dt=bd&dt=ex&dt=ld&dt=md&dt=qca&dt=rw&dt=rm&dt=ss&dt=t&ie=UTF-8&oe=UTF-8&source=bh&ssel=0&tsel=0&kc=1&tk=902911.786207&q=%E6%B2%BB%E5%85%B7"

对于您的请求，它会返回：

[[["Fixture","治具",,,0],[,,,"Zhì jù"]],,"zh-CN",,,[["治 具",1,[["Fixture",999,true,false],["Fixtures",0,true,false],["Jig",0,true,false],["Jigs",0,true,false],["Governance",0,true,false]],[[0,2]],"治具",0,1]],1,,[["ja"],,[1],["ja"]]]

因此，您必须模仿请求，传递所有必要参数或使用支持动态内容的内容，例如selenium

Answer 2

试试这个：

translation = soup.select('#result_box span')[0].text
print(translation)

将BeautifulSoup4与Google翻译配合使用

2 个答案: