创建PostgreSQL内部C函数的副本并将其加载为用户定义的函数

时间:2013-12-02 13:53:35

标签: postgresql postgresql-9.1

我想创建位于int2_avg_accum的C函数src/backend/utils/adt/numeric.c的修改版本。我认为我可以(作为一个开始)只编译numeric.h并加载int2_avg_accum作为用户定义的函数。

我做了什么:

  1. PG_MODULE_MAGIC添加到numeric.h(如here所述)
  2. int2_avg_accum
  3. 中将int2_avg_accum2重命名为numeric.h
  4. 如文档中所述编译numeric.h(无错误,无警告)(cc -fpic -I pg_config --includedir-server -c numeric.c然后cc -shared -o numeric.so numeric.o
  5. 在PostgreSQL中创建了一个函数:
  6. create or replace function int2_avg_accum2(bigint[], smallint)
      returns bigint[] as
    '/usr/lib/postgresql/9.1/lib/numeric', 'int2_avg_accum2'
      language c
      cost 1;
    alter function int2_avg_accum2(bigint[], smallint)
      owner to postgres;
    

    当我尝试运行select int2_avg_accum2(array[1::bigint,1],1::smallint);时,我只收到消息(在pgAdmin中):“你想尝试重新连接到数据库吗?”。没有其他消息或错误。

    当我调用该函数时,我在/var/log/postgresql/postgresql-9.1-main.log中看到以下内容:

    2013-12-03 09:52:02 CET LOG:  server process (PID 3366) was terminated by signal 11: Segmentation fault
    2013-12-03 09:52:02 CET LOG:  terminating any other active server processes
    2013-12-03 09:52:02 CET WARNING:  terminating connection because of crash of another server process
    2013-12-03 09:52:02 CET DETAIL:  The postmaster has commanded this server process to roll back the current transaction and exit, because another server process exited abnormally and possibly corrupted shared memory.
    2013-12-03 09:52:02 CET HINT:  In a moment you should be able to reconnect to the database and repeat your command.
    2013-12-03 09:52:02 CET LOG:  all server processes terminated; reinitializing
    2013-12-03 09:52:02 CET LOG:  database system was interrupted; last known up at 2013-12-03 09:50:53 CET
    2013-12-03 09:52:02 CET LOG:  database system was not properly shut down; automatic recovery in progress
    2013-12-03 09:52:02 CET LOG:  record with zero length at 0/B483EA0
    2013-12-03 09:52:02 CET LOG:  redo is not required
    2013-12-03 09:52:03 CET LOG:  autovacuum launcher started
    2013-12-03 09:52:03 CET LOG:  database system is ready to accept connections
    

    为了获得int2_avg_accum的工作副本,我必须做些什么?

1 个答案:

答案 0 :(得分:3)

psql客户端询问您是否要重新连接的原因是因为后端是segfaulting,根据评论。

可以从这样的崩溃中收集核心转储,并使用调试器(例如.gdb)检查它,以确切地找出它崩溃的位置。但是,我最好的猜测是它崩溃了,因为你已经把一个大文件写成了postgresql的核心组件,单独编译它,并试图将它作为扩展模块加载。

文件numeric.c包含大量函数,静态变量和数据结构,您尝试仅复制一个函数。运行的postgresql系统中已经存在所有这些函数,变量等。当您编译您的numeric.c版本并加载它时,您添加的新函数将引用库中的函数和变量,而不是使用主postgresql程序中的函数和变量。它可能引用了未正确初始化的数据结构,导致其崩溃。

我建议您从空白文件开始,仅从numeric.c中复制int2_avg_accum函数(重命名为您已完成)。如果该函数正在调用postgresql中的其他函数或引用变量,它将使用主postgresql二进制文件中的函数和变量,这就是你想要的。您可以#include原始的numeric.h来获取所有外部函数的声明。

在将函数定义为内部函数以及如何在作为动态加载模块加载时需要定义函数之间还存在一些其他差异:

  • 您需要通过添加宏来指定您正在使用V1调用约定:

    PG_FUNCTION_INFO_V1(int2_avg_accum2);

    如果缺少这个也会导致段错误,因为postgresql将假定版本0调用约定,这与函数定义不匹配!

  • 如您所示,您必须包含PG_MODOULE_MAGIC。

对我有用的完整文件是:

#include "postgres.h"
#include "fmgr.h"
#include "utils/array.h"

#ifdef PG_MODULE_MAGIC
PG_MODULE_MAGIC;
#endif

typedef struct Int8TransTypeData
{
    int64       count;
    int64       sum;
} Int8TransTypeData;

PG_FUNCTION_INFO_V1(int2_avg_accum2);

Datum
int2_avg_accum2(PG_FUNCTION_ARGS)
{
    ArrayType  *transarray;
    int16       newval = PG_GETARG_INT16(1);
    Int8TransTypeData *transdata;

    /*
     * If we're invoked as an aggregate, we can cheat and modify our first
     * parameter in-place to reduce palloc overhead. Otherwise we need to make
     * a copy of it before scribbling on it.
     */
    if (AggCheckCallContext(fcinfo, NULL))
        transarray = PG_GETARG_ARRAYTYPE_P(0);
    else
        transarray = PG_GETARG_ARRAYTYPE_P_COPY(0);

    if (ARR_HASNULL(transarray) ||
        ARR_SIZE(transarray) != ARR_OVERHEAD_NONULLS(1) + sizeof(Int8TransTypeData))
        elog(ERROR, "expected 2-element int8 array");

    transdata = (Int8TransTypeData *) ARR_DATA_PTR(transarray);
    transdata->count++;
    transdata->sum += newval;

    PG_RETURN_ARRAYTYPE_P(transarray);
}

编译:

gcc -I/usr/pgsql-9.2/include/server -fPIC -c my_avg_accum.c
gcc -shared -o my_avg_accum.so my_avg_accum.o

我在Centos 6上使用Postgresql 9.2。您可能需要根据设置调整路径。