如何通过JavaScript / cheerio从我想要的html中提取文本?

时间:2017-09-08 01:45:00

标签: javascript html cheerio

我想从html中提取文本,其名称为 text.html ,如下所示

<div class="trans-container">
  <ul>
     <p class="wordGroup">
        <span style="font-weight: bold; color: #959595; margin-right: .5em; width : 36px; display: inline-block;">adj.</span>
        <span class="contentTitle"><a class="search-js" href="/w/good/#keyfrom=E2Ctranslation">good</a>
        <span style="font-weight: bold; color: #959595;"> ;</span>
        </span>
        <span class="contentTitle"><a class="search-js" href="/w/fine/#keyfrom=E2Ctranslation">fine</a>
        <span style="font-weight: bold; color: #959595;"> ;</span>
        </span>
        <span class="contentTitle"><a class="search-js" href="/w/ok/#keyfrom=E2Ctranslation">ok</a>
        </span>
     </p>
     <p class="wordGroup">
        <span style="font-weight: bold; color: #959595; margin-right: .5em; width : 36px; display: inline-block;">adv.</span>
        <span class="contentTitle"><a class="search-js" href="/w/well/#keyfrom=E2Ctranslation">well</a>
        </span>
     </p>
     <p class="wordGroup">
        <span style="font-weight: bold; color: #959595; margin-right: .5em; width : 36px; display: inline-block;">misc.</span>
        <span class="contentTitle"><a class="search-js" href="/w/all right/#keyfrom=E2Ctranslation">all right</a>
        </span>
     </p>
  </ul>
</div>

并按以下格式打印出来。

adj. good ; fine ; ok
adv. well
misc. all right

我尝试过的是以下代码

const cheerio = require('cheerio');
const fs = require('fs');

const $ = cheerio.load(fs.readFileSync('./test.html'));
$('div.trans-container').find('p.wordGroup').each(function(i,elm){
  const line = []
  $(this).find('span').each(function(i,elm){
    line[i] = $(this).text().trim()
  })
  console.log(line.join(' '))
});

不幸的是,我们的产量如下,不完全符合我的要求。任何人都可以帮我指出我错在哪里吗?此外,如果您能通过 JavaScript 为我提供其他不错的方法来解决此问题,无论是否有 Cheerio ,我们将不胜感激。

adj. good
         ; ; fine
         ; ; ok
adv. well
misc. all right

4 个答案:

答案 0 :(得分:1)

这可能是您正在寻找的解决方案

line[i] = $(this).children().length > 0 ? $(this).children(":first-child").text().trim() : $(this).text().trim();

这给出了预期的输出。这将检查此节点是否具有子节点并仅获取第一个节点文本。如果没有子节点,则只提取节点文本。

http://api.jquery.com/text/上关于jquery text()函数的官方文档说

  

获取匹配集合中每个元素的组合文本内容   元素,包括它们的后代,或者设置文本内容   匹配的元素。

另一个相关帖子是https://stackoverflow.com/a/32170000/578855

答案 1 :(得分:1)

如果您为每个<p>标记提供了ID,那么您可以使用此脚本来访问您的子元素并从中获取值:

var adjElements = document.getElementById("adj").children;
var advElements = document.getElementById("adv").children;
var miscElements = document.getElementById("misc").children;
var adjObject =[];
var advObject =[];
var miscObject =[];


for (var i=0; i<=adjElements.length -1; i++){
    adjObject.push(adjElements[i].innerText);
}

for (var i=0; i<=advElements.length -1; i++){
    advObject.push(advElements[i].innerText);
}

for (var i=0; i<=miscElements.length -1; i++){
    miscObject.push(miscElements[i].innerText);
}

console.log(adjObject); //["adj.", "good ; ", "fine ; ", "ok"]
console.log(advObject); //["adv.", "well"]
console.log(miscObject); //  ["misc.", "all right"]

我为你做了一个例子:

https://jsfiddle.net/37g6ture/2/

请记得在您的p标记中添加adjadvmisc ID。

答案 2 :(得分:1)

您的主要问题是双循环。内部$(this).find('span').each导致一些跨度迭代两次。例如:

<span class="contentTitle">
    <a class="search-js" href="/w/fine/#keyfrom=E2Ctranslation">fine</a>
    <span style="font-weight: bold; color: #959595;"> ;</span>
</span>

span.text()上致电<span class="contentTitle">将返回fine ; 然后,内部范围<span style="font-weight: bold; color: #959595;">也被迭代,添加第二个;。 其次,如果您的目标是移除所有额外的空白区域,但只留下一个空格,这将有效.replace(/\s\s+/g, ' '))

整个代码:

const $ = require('cheerio').load(require('fs').readFileSync('./test.html'));
$('div.trans-container').find('p.wordGroup').each(function(i,elm){
  console.log($(this).text().replace(/\s\s+/g, ' '));
});

导致

adj. good ; fine ; ok 
adv. well 
misc. all right 

答案 3 :(得分:0)

在主要组text()上使用.wordGroup,在这种情况下,它将获得没有html元素的元素的所有文本。然后在其上运行replace(),用一个空格删除所有空格字符。

$('div.trans-container').find('p.wordGroup').each(function(i,elm){
  // regex: /\s+/g matches 1 or more whitespace characters \n\r\f\t
  var line = $(this).text().replace(/\s+/g," ");
  console.log(line);
});

至于使用原生javascript进行操作,你无法使用Nodejs,因为它没有本机DOM支持。所以你必须使用像cheerio或jsdom这样的模块。如果你的意思是浏览器中的javascript,那就像是:

document.querySelectorAll('div.trans-container p.wordGroup')
  .forEach(ele=>console.log( ele.innerText.replace(/\s+/g," ") ));