Question

我最近开始开发Node js应用程序，它在控制器中使用Selenium从网页中获取项目列表，我想将获取的项目列表作为JSON响应返回。

exports.read_all_products = function (req, res) {
    var driver = new webdriver.Builder().forBrowser('phantomjs').build();
    driver.get('https://www.test.com/products?PC=' +req.params.category);    
    driver.wait(until.elementLocated(By.className('product-slide-all')), 20000, 'Could not locate the element within the time specified');

    driver.findElements(By.className("product-slide-all")).then(function (elements) {
        var arr = [];
        elements.forEach(function (element) {
        element.getAttribute("innerHTML").then(function (html) {
            const dom = new JSDOM(html);
            var obj = new Object();
            obj.product_name = dom.window.document.querySelector(".product-name").textContent;
            obj.product_code = dom.window.document.querySelector(".product-code").textContent;
            obj.price = dom.window.document.querySelector(".product-price").textContent;
            arr.push(obj);
        });
    });
    res.json(arr);
    });
}

问题是我总是得到一个空的JSON响应，即使项目已添加到数组中。我想知道处理这种情况的正确方法。

感谢。

Answer 1

看起来问题是因为Selenium正在运行异步进程，因此响应立即返回，因为没有任何阻止它。

findElements返回一个Promise，你需要从中返回响应。

查看How do I return the response from an asynchronous call?

Answer 2

最后，我能够在 webdriver.promise.map 的帮助下完成工作。

将Web驱动程序HTML提取移至单独的功能。

var findItems = function (category) {
var driver = new webdriver.Builder().forBrowser('phantomjs').build();
var map = webdriver.promise.map;
driver.get('https://www.test.com?PC=' + category);
driver.wait(until.elementLocated(By.className('product-slide-all')), 30000, 'Could not locate the element within the time specified');
    var elems = driver.findElements(By.className("product-slide-all"));
        return map(elems, elem => elem.getAttribute("innerHTML")).then(titles => {
        return titles;
    });
}

然后从响应处理函数中调用它，如bellow，

exports.read_all_products = function (req, res) {
findItems(req.params.category).then(function (html) {
    var value;
    var arr = [];
    Object.keys(html).forEach(function (key) {
        value = html[key];
        const dom = new JSDOM(value);
        var obj = new Object();
        obj.product_name = dom.window.document.querySelector(".product-name").textContent;
        obj.product_code = dom.window.document.querySelector(".product-code").textContent;
        obj.price = dom.window.document.querySelector(".product-price").textContent;
        arr.push(obj);
    });
    res.json(arr);
})
};

在this stack overflow answers中描述了它。

返回具有节点js的对象列表

2 个答案: