如何在进行mysql查询之前识别停用词

时间:2013-02-23 17:47:57

标签: php javascript mysql full-text-search

我正在尝试为webapp设置文本搜索。我的mysql查询如下:

SELECT * FROM t1 WHERE MATCH (c1,c2,c3) AGAINST (:keyStr IN BOOLEAN MODE)

我想要所有单词:keyStr匹配,所以keyStr看起来像:

:keyStr='+word[0]* +word[1]* +word[2]* + ... +word[n]*'

如果任何单词[x]是一个停用词或小于最小单词长度,则查询返回null。我认为最好的解决方案是从禁用词中删除“+”或完全删除禁止词:keyStr。

有什么好方法吗?在查询之前,我是否需要检查任何单词[x]是否在stopwords_list中?

1 个答案:

答案 0 :(得分:1)

使用javascript实现此目的的一种简单方法是:

var apart = "Some +example search that I made up".toLowerCase().replace(/[\+\-\?]*/g, '').split(' '),
    stop_words = ['the', 'that', 'a', 'example'],
    min_word_length = 1;

// filter the array to remove stop words
apart.filter( function( item ) {
    if ( item.length < min_word_length ) return false;
    return stop_words.indexOf( item ) === -1;
});

编辑:虽然在伪代码意义上,上面的代码可以工作,这是一个PHP解决方案

$query = "This is my example search query";

$search = explode(' ', $query);

$stop_words = array('is', 'a', 'the');

$terms = array_filter($search, function($item){
    return !in_array($item, $stop_words);
});

$formatted = array_map(function($term){
    return '+'.mysql_escape_string($term).'*';
}, $terms);

// :keyStr = implode(' ', $formatted);