PostgreSQL:如何解决ts_vector大小限制?

时间:2015-05-26 22:38:39

标签: ruby-on-rails postgresql rails-postgresql pg-search tsvector

我正在使用pg_search gem在Rails应用内创建搜索。但是,其中一个表有一个Text数据类型字段,它的内容恰好比平常大一点。

现在,当我需要为tsvector column列设置text时,由于文本字段大小与tsvector大小相比,我面临一些限制。

ERROR: string is too long for tsvector (5068741 bytes, max 1048575 bytes)

Text触发器中创建tsvector列时,是否有任何方法可以确定跳过较大SQL字段的条件,以执行以下操作:

伪代码:

execute(<<-TRIGGERSQL)
CREATE OR REPLACE FUNCTION public.essays_before_insert_update_row_tr()
 RETURNS trigger
 LANGUAGE plpgsql
AS $function$
BEGIN
    If (SELECT LEN(body_text) FROM essays) <= 1048575
      new.tsv_body_text := to_tsvector('pg_catalog.english', coalesce(new.body_text,''));
      RETURN NEW;
    End
END;
$function$
  TRIGGERSQL

  # no candidate create_trigger statement could be found, creating an adapter-specific one
  execute("CREATE TRIGGER essays_before_insert_update_row_tr BEFORE INSERT OR UPDATE ON \"essays\" FOR EACH ROW EXECUTE PROCEDURE essays_before_insert_update_row_tr()")

我找不到答案的相关问题:

Postgresql - converting text to ts_vector

1 个答案:

答案 0 :(得分:2)

一个简单的解决方法是仅使用截断的文本值调用to_tsvector()。例如,以Postgres手册中的trigger example作为起点,此方法如下所示:

CREATE FUNCTION essays_tsv_trigger_fn() RETURNS trigger AS $$
begin
    new.tsv_body_text := to_tsvector('english', left(new.body_text, 4*1024*1024));
    return new;
end
$$ LANGUAGE plpgsql;

CREATE TRIGGER essays_tsv_trigger BEFORE INSERT OR UPDATE
    ON essays FOR EACH ROW EXECUTE FUNCTION essays_tsv_trigger_fn();

这会将文档的内容截断为4 MiB,这对于许多文档收集应该足够有用。不仅要忽略“过长”的文档,还应至少包含其中的一部分。以我的经验,4 MiB非常适合用于英语技术文档。根据实际使用的词汇量,您甚至可以在截断较大的值(例如10 MiB)时成功。

如果您真的想忽略太长的文档,则可以使用如下if语句来保护to_tsvector()分配:

CREATE FUNCTION essays_tsv_trigger_fn() RETURNS trigger AS $$
begin
    if length(new.body_text) <= 4*1024*1024 then
        new.tsv_body_text := to_tsvector('english', new.body_text);
    end if;
  return new;
end
$$ LANGUAGE plpgsql;