我尝试使用Puppeteer进行一些网页抓取,但脚本似乎无法找到我正在寻找的选择器。基本上这段代码:
const puppeteer = require('puppeteer');
let scrape = async () => {
const year = 18;
const browser = await puppeteer.launch({headless: false});
const page = await browser.newPage();
await page.goto('https://cobbcounty.org/index.php?option=com_wrapper&view=wrapper&Itemid=2008');
await page.waitFor(5000);
var id = '';
for(i=0;i<10000;i++){
id = i;
await page.click('#txtCase');
await page.keyboard.type(year + '-P-' + id);
await page.select('#lstDoc','Estate');
}
}
scrape().then((value) => {
console.log('script ended');
});
给我这个错误:
(node:31125) UnhandledPromiseRejectionWarning: AssertionError
[ERR_ASSERTION]: No node found for selector: #txtCase
据我所知,#txtCase是页面上的实际选择器,因此我不知道为什么木偶操作者无法找到它。如果有人能向我解释我做错了什么,那将非常有用。
答案 0 :(得分:5)
据我所知,#txtCase是页面上的实际选择器,因此我不知道为什么木偶操作者无法找到它。
尝试加载页面并使用控制台查找该元素。
document.querySelector('#txtCase')
null
它不存在。我知道您在右键单击以检查该文本字段时可以看到它,但它嵌套在iframe中。您需要访问该框架,然后找到该按钮,然后单击它。
const frame = await page.frames().find(f => f.name() === 'iframe');
const button = await frame.$('#txtCase');
button.click();
答案 1 :(得分:0)
如果您只是想使其工作,可以使用以下方法以一种怪异的方式使其实现:
await page.mouse.click( coordinate x, coordinate y { button: 'left' })
所以您不需要选择器,只需坐标。