试图从网站PHP(OOP)中提取关键字

时间:2012-12-02 15:57:17

标签: php extract keyword

哈哈,我仍然有关键字的问题,但这是我正在创建的代码。

是一个糟糕的代码但是我的创作:

<?php
$url = 'http://es.wikipedia.org/wiki/Animalia';
Keys($url);
function Keys($url) { 
$listanegra = array("a", "ante", "bajo", "con", "contra", "de", "desde", "mediante", "durante", "hasta", "hacia", "para", "por", "que", "qué", "cuán", "cuan", "los", "las", "una", "unos", "unas", "donde", "dónde", "como", "cómo", "cuando", "porque", "por", "para", "según", "sin", "tras", "con", "mas", "más", "pero", "del"); 

    $doc = new DOMDocument();
    libxml_use_internal_errors(true);
    $doc->loadHTMLFile($url);
    $webhtml = $doc->getElementsByTagName('p');
    $webhtml = $webhtml ->item(0)->nodeValue;

    $webhtml = strip_tags($webhtml);
    $webhtml = explode(" ", $webhtml);

    foreach($listanegra as $key=> $ln) {
    $webhtml = str_replace($ln, " ", $webhtml);
    }
    $palabras = str_word_count ("$webhtml", 1 ); 
    $frq = array_count_values ($palabras); 
    $frq = asort($frq);
    $ffrq = count($frq);
$i=1;
while ($i < $ffrq) {
    print $frqq[$i];
    print '<br />';
    $i++;
}
}
?>

尝试提取网站关键字的代码。提取Web的第一段,并删除变量“$ listanegra”的单词。接下来,计算重复单词并将所有单词保存在“数组”中。在我调用阵列之后,这就向我展示了这些话。

问题是......代码不能正常运行=(。

当我使用代码时,显示空白。

可以帮我完成我的代码吗?建议我使用“tf-idf”,但我稍后会用它。

2 个答案:

答案 0 :(得分:1)

我相信这就是你想要做的事情:

$url = 'http://es.wikipedia.org/wiki/Animalia';

$words = Keys($url);

/// do your database stuff with $words


function Keys($url)
{
    $listanegra = array('a', 'ante', 'bajo', 'con', 'contra', 'de', 'desde', 'mediante', 'durante', 'hasta', 'hacia', 'para', 'por', 'que', 'qué', 'cuán', 'cuan', 'los', 'las', 'una', 'unos', 'unas', 'donde', 'dónde', 'como', 'cómo', 'cuando', 'porque', 'por', 'para', 'según', 'sin', 'tras', 'con', 'mas', 'más', 'pero', 'del');

    $doc = new DOMDocument();
    libxml_use_internal_errors(true);
    $doc->loadHTMLFile($url);
    $webhtml = $doc->getElementsByTagName('p');
    $webhtml = $webhtml->item(0)->nodeValue;
    $webhtml = strip_tags($webhtml);
    $webhtml = explode(' ', $webhtml);

    $palabras = array();
    foreach($webhtml as $word)
    {
        $word = strtolower(trim($word, ' .,!?()')); // remove trailing special chars and spaces
        if (!in_array($word, $listanegra))
        {
            $palabras[] = $word;
        }
    }
    $frq = array_count_values($palabras);
    asort($frq);
    return implode(' ', array_keys($frq));
}

答案 1 :(得分:0)

如果您正在测试,您的服务器应该显示错误: 之后加上这个

ini_set('display_errors', 1); 
ini_set('log_errors', 1); 
ini_set('error_log', dirname(__FILE__) . '/error_log.txt'); 
error_reporting(E_ALL);

这样你就会看到错误: 第24行上的数组转换为字符串(如果不放置5个新行,则为第19行)

这里有一些错误我发现没有使用4个函数,因为它们应该是str_replace,str_word_count,asort,array_count_values。

使用 str_replace 有点棘手。尝试查找和删除即使在“动物”中也删除文本中的所有“a”。 (str_replace(“a”,“animal”)=&gt; nmal) 此链接应该有用: link

asort 返回true或false,只做:

asort($frq);

将按字母顺序对值进行排序。 $ frq返回 array_count_values - &gt;的结果$ frq = array($ word1 =&gt; word1_count,...) 这里的值是单词的使用次数,所以稍后你有:

 print $**frq**[$i]; // you have  print $frqq[$i]; in your code

结果将为空,因为此数组的索引是单词,值是单词在文本中出现的时间。

同样使用 str_word_count ,您必须非常小心,因为您正在阅读西班牙文字,文字可以包含您想要使用的数字

str_word_count($string,1,'áéíóúüñ1234567890');

我建议的代码:

<?php
header('Content-Type: text/html; charset=UTF-8');
ini_set('display_errors', 1); 
ini_set('log_errors', 1); 
ini_set('error_log', dirname(__FILE__) . '/error_log.txt'); 
error_reporting(E_ALL);



$url = 'http://es.wikipedia.org/wiki/Animalia';
Keys($url);
function Keys($url) { 
$listanegra = array("a", "ante", "bajo", "con", "contra", "de", "desde", "mediante", "durante", "hasta", "hacia", "para", "por", "que", "qué", "cuán", "cuan", "los", "las", "una", "unos", "unas", "donde", "dónde", "como", "cómo", "cuando", "porque", "por", "para", "según", "sin", "tras", "con", "mas", "más", "pero", "del"); 

$html=file_get_contents($url);

    $doc = new DOMDocument('1.0', 'UTF-8');
    $html = mb_convert_encoding($html, "HTML-ENTITIES", "UTF-8"); 
    libxml_use_internal_errors(true);
     $doc->loadHTML($html);
    $webhtml = $doc->getElementsByTagName('p');


    $webhtml = $webhtml ->item(0)->nodeValue;

    $webhtml = strip_tags($webhtml);
    print_r ($webhtml);
    $webhtml = explode(" ", $webhtml);


   // $webhtml = str_replace($listanegra, " ", $webhtml); str_replace() accepts array

    foreach($listanegra as $key=> $ln) {

    $webhtml = preg_replace('/\b'.$ln.'\b/u', ' ', $webhtml);
    }

    $palabras = str_word_count(implode(" ",$webhtml), 1, 'áéíóúüñ1234567890');

    sort($palabras);

    $frq = array_count_values ($palabras);


foreach($frq as $index=>$value) {
    print "the word <strong>$index</strong>  was used <strong>$value</strong> times";
    print '<br />';

}
}
?>

试图找出特殊的字符问题真的很痛苦