BeautifulSoup:选择器未提取正确的数据-Yahoo Scrape

时间:2019-02-01 03:53:26

标签: python beautifulsoup

我正试图从其类值包含compText的元素中提取文本。问题是它提取了我想要的文本以外的所有内容。

当我在开发人员工具中使用CSS选择器时,它可以正确识别该元素。

当输入的查询没有结果时,我正在尝试抓取Yahoo SERP中显示的文本。

  1. 如果我的查询是(包括引号)“ klsf gl glkjgsdn lkgsdg”,则不会显示任何内容,请期待补充文本“我们没有找到结果blabla”,并且选择器正确提取了数据
  2. 如果我的查询是(包括引号)“基于基础的专业。嵌段。有机硅。参考”。雅虎将由于关键字“ Organosilicone”而添加广告,并触发第一段中所述的行为。

代码如下:

import requests
from bs4 import BeautifulSoup
url = "http://search.yahoo.com/search?p="
query = '"based specialty chemicals. Blocks. Organosilicone.  Reference"'
r = requests.get(url + query) 
soup = BeautifulSoup(r.text, "html.parser")

for EachPart in soup.select('div[class*="compText"]'):
    print (EachPart.text)

怎么了?

Thx,

编辑:提取的文本似乎是我在SERP上可以找到的“有机硅树脂”一词的定义。

EDIT2:这是我收到的文字的摘要:“由'Specialty Chemicals'成员公司(其中许多是中小企业)创建和生产的产品源于原始的不断创新。它们推动了碳,资源高效和知识型未来经济。”和使用浏览器enter image description here

时SERP的屏幕截图

0 个答案:

没有答案