Question

我在SQL方面非常糟糕，我想知道我可以运行什么SQL来解决我怀疑是NP-Complete问题的问题，但我对查询采取了一个问题。长时间运行大型数据集，因为这将作为后台任务完成。首选标准sql语句，但如果需要存储过程，那么就是这样。 SQL需要在Postgres 9.3上运行。

问题：给定一组包含一组关键字的文章，找到包含最多匹配关键字的每篇文章的前n篇文章。

文章表的精简版本如下所示：

CREATE TABLE article (
  id character varying(36) NOT NULL,  -- primary key of article
  keywords character varying,         -- comma separated set of keywords

  CONSTRAINT pk_article PRIMARY KEY (id)
);

-- Test Data
INSERT INTO article(id, keywords) VALUES(0, 'red,green,blue');
INSERT INTO article(id, keywords) VALUES(1, 'red,green,yellow');
INSERT INTO article(id, keywords) VALUES(2, 'purple,orange,blue');
INSERT INTO article(id, keywords) VALUES(3, 'lime,violet,ruby,teal');
INSERT INTO article(id, keywords) VALUES(4, 'red,green,blue,yellow');
INSERT INTO article(id, keywords) VALUES(5, 'yellow,brown,black');
INSERT INTO article(id, keywords) VALUES(6, 'black,white,blue');

这会导致SELECT * FROM article;查询：

Table: article
------------------------
id  keywords            
------------------------
0   red,green,blue      
1   red,green,yellow    
2   purple,orange,blue  
3   lime,violet,ruby,teal
4   red,green,blue,yellow
5   yellow,brown,black
6   black,white,blue

假设我想找到包含最多匹配关键字的每篇文章的前三篇文章，那么输出应为：

------------------------
id  related
------------------------
0   4,1,6
1   4,0,5
2   0,4,6
3   null
4   0,1,6
5   1,6
6   5,0,4

Answer 1

与@a_horse commented类似：使用规范化设计会更简单（除了使其他任务变得更简单/更清晰），但仍然不是很简单。

此外，数据类型为character varying(36)的PK列非常可疑（且效率低下），而且最有可能是integer type或至少uuid。

以下是基于设计的一种可能的解决方案：

WITH cte AS (
   SELECT id, string_to_array(a.keywords, ',') AS keys
   FROM   article a
   )
SELECT id, string_agg(b_id, ',') AS best_matches
FROM  (
   SELECT a.id, b.id AS b_id
        , row_number() OVER (PARTITION BY a.id ORDER BY ct.ct DESC, b.id) AS rn
   FROM   cte a
   LEFT   JOIN cte b ON a.id <> b.id AND a.keys && b.keys
   LEFT   JOIN LATERAL (
      SELECT count(*) AS ct
      FROM  (
         SELECT * FROM unnest(a.keys)
         INTERSECT ALL
         SELECT * FROM unnest(b.keys)
         ) i
      ) ct ON TRUE
   ORDER  BY a.id, ct.ct DESC, b.id  -- b.id as tiebreaker
   ) sub
WHERE  rn < 4
GROUP  BY 1;

SQL Fiddle（使用整数id代替。）

CTE cte将字符串转换为数组。你甚至可以拥有像这样的功能性GIN索引......

如果排名前3的选区有多行，则需要定义 决胜局 。在我的示例中，id较小的行首先出现。

最近相关答案的详细解释：

<强> Query and order by number of matches in JSON array

比较是在JSON数组和SQL数组之间，但它基本上是同一个问题，归结为相同的解决方案。还比较了几个类似的替代方案。

为了加快速度，你应该至少在数组列上有一个GIN索引（而不是逗号分隔的字符串），并且查询不需要CTE步骤。完全标准化的设计具有其他优点，但不一定比具有GIN索引的数组更快。

Answer 2

您可以以逗号分隔的字符串存储列表。没问题，只要这只是一个字符串给你，你对它的单独值不感兴趣。只要对单独的值感兴趣，就像在您的示例中一样，将它们单独存储。

这就是说，纠正你的数据库设计，然后才考虑查询。

以下查询首先选择所有ID对，并计算常用关键字。然后，它通过给出具有共同排名＃1等的最多关键字的其他ID来对对进行排名。然后，您只保留三个最匹配的ID。 STRING_AGG列出了按共同关键字数量排序的字符串中最匹配的ID。

select 
  this_article as id,
  string_agg(other_article, ',' order by rn) as related
from
(
  select 
    this_article, 
    other_article, 
    row_number() over (partition by this_article order by cnt_common desc) as rn
  from
  (
    select 
      this.id as this_article, 
      other.id as other_article, 
      count(other.id) as cnt_common
    from keywords this
    left join keywords other on other.keyword = this.keyword and other.id <> this.id
    group by this.id, other.id
  ) pairs
) ranked
where rn <= 3
group by this_article
order by this_article;

这是SQL小提琴：http://sqlfiddle.com/#!15/1d20c/9。

SQL查询以查找具有最匹配关键字的行

2 个答案: