Question

我正在尝试为我的网页构建关键字，我希望从文本中提取关键字。我有这个功能

function extractCommonWords($string){
     $stopWords = array('и', 'или');

      $string = preg_replace('/ss+/i', '', $string);
      $string = trim($string); 
      $string = preg_replace('/[^a-zA-Z0-9 -]/', '', $string); 
      $string = strtolower($string); 
      preg_match_all('/\b.*?\b/i', $string, $matchWords);
      $matchWords = $matchWords[0];

      foreach ( $matchWords as $key=>$item ) {
          if ( $item == '' || in_array(strtolower($item), $stopWords) || strlen($item) <= 3 ) {
              unset($matchWords[$key]);
          }
      }  
      $wordCountArr = array();
      if ( is_array($matchWords) ) {
          foreach ( $matchWords as $key => $val ) {
              $val = strtolower($val);
              if ( isset($wordCountArr[$val]) ) {
                  $wordCountArr[$val]++;
              } else {
                  $wordCountArr[$val] = 1;
              }
          }
      }
      arsort($wordCountArr);
      $wordCountArr = array_slice($wordCountArr, 0, 10);
      return $wordCountArr;
}

以下是我的尝试：

$text = "Текст кирилица";
$words = extractCommonWords($text);
echo implode(',', array_keys($words));

这个问题与西里尔字母有关。如何解决？

Answer 1

西里尔字母是多字节字符。您需要使用PHP的multi-byte character function。

对于正则表达式，您需要添加/u修饰符以使其符合unicode。

另见Are the PHP preg_functions multibyte safe?

Answer 2

您要替换的模式也会删除所有西里尔字符，因为a-z将不匹配。

将其添加到字符类以保留西里尔字符：

\p{Cyrillic}

...并使用GolezTrol建议的修饰符u。

$string = preg_replace('/[^\p{Cyrillic} a-zA-Z0-9 -]/u', '', $string);

如果你只想提取西里尔字，你不需要替换任何东西，只需使用它来匹配单词：

preg_match_all('/\b(\p{Cyrillic}+)\b/u', $string, $matchWords);

从php中的文本中提取西里尔词条/关键词

2 个答案: