我要从中提取以下经度和纬度值:
<span itemprop="geo" itemscope="" itemtype="http://schema.org/GeoCoordinates">
<meta itemprop="latitude" content="-25.5170846">
<meta itemprop="longitude" content="-49.1831061">
</span>
。
那是通过google chrome访问时代码显示的方式,但是当我尝试使用Puppeteer对其进行抓取时,我得到的是以下内容:
<script type="jsv/71_"></script>
。
我认为这应该是一些动态生成的内容。有什么方法可以渲染此标签并从此meta标签提取内容属性?
我尝试使用:
await page.waitForSelector('[itemprop=geo]');
但等待选择器时发生超时错误。
`const page = await browser.newPage();
// await page.setViewport({
// width: 1920,
// height: 1080
// });
await page.goto(url, {
waitUntil: 'networkidle2',
timeout: 9000000
});
console.log(`Capturando dados da página ${url}`);
await page.waitForSelector('[itemprop=geo]');
const imoveisOnPage = await page.evaluate(() =>
Array.from(document.querySelectorAll("article.minificha")).map(ficha => {
const site = document.location.hostname;
const elementoTitulo = ficha.querySelector('[itemprop="streetAddress"]');
const elementoCidade = ficha.querySelector('[itemprop="addressLocality"]');
const elementoEstado = ficha.querySelector('[itemprop="addressRegion"]');
const elementoBairro = ficha.querySelector('h2 strong');
const elementoQuartos = ficha.querySelector('li.icone-quartos');//.textContent.trim();
const elementoPreco = ficha.querySelector('.preco strong');
const elementoArea = ficha.querySelector('li.icone-area');
const elementoDescricao = ficha.querySelector('.endereco p');
const elementoAnuncioUrl = ficha.querySelector('figure > div > a');
const elementoAnunciante = ficha.querySelector('.anunciante span');
const elementoLatitude = ficha.querySelector('[itemprop=geo]').children[0].attributes["content"].nodeValue
const elementoLongitude = ficha.querySelector('[itemprop=geo]').children[1].attributes["content"].nodeValue
const elementoId = ficha.getAttribute('data-id');
const resumo = JSON.parse(ficha.getAttribute('data-clickstream'));
const fotosElement = ficha.querySelector('.carrossel-container').getAttribute('data-fotos');
const fotosArray = fotosElement.replace('[', '').replace(']', '').split(',');
let bairro = (elementoBairro !== null) ? elementoBairro.textContent.trim() : resumo.address[3];
let quartos = (elementoQuartos !== null) ? elementoQuartos.textContent.trim() : resumo.bedrooms;
let preco = (elementoPreco !== null) ? elementoPreco.textContent.trim() : resumo.salePrice;
let logradouro = (elementoTitulo !== null) ? elementoTitulo.textContent.trim() : resumo.address[4];
let cidade = (elementoCidade !== null) ? elementoCidade.textContent.trim() : resumo.address[2];
let estado = (elementoEstado !== null) ? elementoEstado.textContent.trim() : resumo.address[1];
let area = (elementoArea !== null) ? elementoArea.textContent.trim() : resumo.areas[0];
let cep = resumo.address[6] || '';
let numero = resumo.address[5] || '';
let descricao = (elementoDescricao !== null) ? elementoDescricao.textContent.trim() : '';
let fotos = fotosArray;
let anuncioUrl = (elementoAnuncioUrl !== null) ? elementoAnuncioUrl.href : '';
let tipo = resumo.unitTypes[0];
let anunciante = elementoAnunciante.textContent.trim();
let titulo = `${resumo.unitTypes[0]} ${cidade} - ${estado}`;
let longitude = (elementoLongitude !== null) ? elementoLongitude.content : '';
let latitude = (elementoLatitude !== null) ? elementoLatitude.content : '';
let location = {
type: 'Point',
coordinates: [longitude, latitude]
}
return {
titulo, tipo, quartos, preco, logradouro, numero,
cidade, bairro, estado, area, cep, descricao,
fotos, resumo, site, anuncioUrl, location
}
})
);
await page.close();`
答案 0 :(得分:0)
<span itemprop="geo">...</span>
内似乎有一个脚本标记。另外,您要等到meta标签正常显示为止。
代码如下:
// Wait for meta tags to appear
await page.waitForSelector('[itemprop=geo] meta');
// query both meta elements
const metaElements = ficha.querySelectorAll('[itemprop=geo] meta');
const elementoLatitude = metaElements[0].attributes["content"].nodeValue;
const elementoLongitude = metaElements[1].attributes["content"].nodeValue;