您是否观察到自8.3以来PostgreSQL TEMP TABLE性能下降?

时间:2009-07-09 09:07:51

标签: performance postgresql

我的应用程序使用PostgreSQL中的临时表。 随着8.4版本的发布,我测试了它的性能 到旧的8.2发布,我观察了临时表 十次慢一点!

8.3版本的测试表明它在8.3中也较慢。我比较了所有的配置 基地和他们是相似的。所有基地都是一样的 服务器。当我的应用程序使用JDBC驱动程序时,我使用了Jython 测试它:

import time
import traceback
import sys

from java.sql import DriverManager
from java.lang import Class

Class.forName("org.postgresql.Driver")

def test_bench(db, temp):
    if temp:
        temp_str = ' TEMP '
        temp_desc = 'temp   '
    else:
        temp_str = ' '
        temp_desc = 'regular'
    try:
        c = db.createStatement()
        c.execute("CREATE %s TABLE test_table_md_speed(id serial primary key, txt varchar(100))" % temp_str)
        cnt = '?'
        try:
            t0 = time.time()
            for i in range(1000):
                c.execute("INSERT INTO test_table_md_speed(txt) VALUES ('ala ma %d kota')" % i)
            t2 = time.time()
            rs = c.executeQuery("SELECT COUNT(*) AS ile FROM test_table_md_speed")
            while (rs.next()):
                cnt = rs.getString(1)
            print("%s\ttime: %7.3f [s]\tcnt: %s" % (temp_desc, (t2-t0), cnt))
        finally:
            c.execute("DROP TABLE test_table_md_speed")
        c.close()
    except:
        print("\nthere were errors!")
        s = traceback.format_exc()
        sys.stderr.write("%s\n" % (s))

def test_db(db_url, usr, passwd):
    print("\n\n--------------")
    db = DriverManager.getConnection(db_url, usr, passwd)
    try:
        c = db.createStatement()
        rs = c.executeQuery("SELECT version()")
        while (rs.next()):
            print('ver: %s' % (rs.getString(1)))
        test_bench(db, 0)
        test_bench(db, 1)
    finally:
        db.close()

test_db('jdbc:postgresql://db-test64:5432/db_stable?stringtype=unspecified', 'postgres', 'postgres')
test_db('jdbc:postgresql://db-test64:5434/db_stable?stringtype=unspecified', 'postgres', 'postgres')
test_db('jdbc:postgresql://db-test64:5435/db_stable?stringtype=unspecified', 'postgres', 'postgres')

我还使用ActivePython和win32中的odbc编写了类似的测试,该程序显示了相同的结果。 我的结果:

C:\tools\pyscripts\>jython jdbc_pg_bench.py
--------------
ver: PostgreSQL 8.2.12 on x86_64-unknown-linux-gnu, compiled by GCC gcc (GCC) 4.1.2 20061115 (prerelease) (Debian 4.1.1-21)
regular time:  12.016 [s]       cnt: 1000
temp    time:   1.187 [s]       cnt: 1000
--------------
ver: PostgreSQL 8.3.6 on x86_64-unknown-linux-gnu, compiled by GCC gcc (GCC) 4.1.2 20061115 (prerelease) (Debian 4.1.1-21)
regular time:  11.922 [s]       cnt: 1000
temp    time:  10.516 [s]       cnt: 1000
--------------
ver: PostgreSQL 8.4.0 on x86_64-unknown-linux-gnu, compiled by GCC gcc (GCC) 4.1.2 20061115 (prerelease) (Debian 4.1.1-21), 64-bit
regular time:  13.375 [s]       cnt: 1000
temp    time:  13.609 [s]       cnt: 1000

您是否观察到8.3和8.4版本中临时表速度的降低? 是否有关于TEMP表行为变化的信息?

修改

我在我的Windows机器上安装了PostgreSQL 8.2和8.4,使用10 000个插件进行了测试,看起来8.2使用临时表的速度要快得多:

ver: PostgreSQL 8.2.11 on i686-pc-mingw32, compiled by GCC gcc.exe (GCC) 3.4.2 (mingw-special)
regular time:  40.672 [s]       cnt: 10000
temp    time:  14.859 [s]       cnt: 10000

ver: PostgreSQL 8.4.0, compiled by Visual C++ build 1400, 32-bit
regular time:  56.860 [s]       cnt: 10000
temp    time:  49.110 [s]       cnt: 10000

2 个答案:

答案 0 :(得分:3)

8.3介绍了这一变化:(来自commit log on the wiki

  

2007-06-03 13:05 tgl创建一个GUC参数temp_tablespaces,允许选择存储临时表和临时文件的表空间。这是一个允许在多个表空间之间分配负载的列表(每次创建临时对象时都会选择随机列表元素)。临时文件不再存储在每个数据库pgsql_tmp/目录中,而是存储在每个表空间目录中。

Release notes赞扬“Jaime Casanova,Albert Cervera,Bernd Helmle”


pgsql-performance列表中可能存在相关报告。原始海报标识为changing their kernel at the same time was more likely the cause,但a post from Tom Lane包括:

  

“所以我怀疑你看到的减速来自制作一个   8.3中的大量目录更新;“


您评论8.2配置被复制为8.3 ...默认的autovacuum设置从off更改为on。也许你的临时表在8.3中被吸尘但不是在8.2?

答案 1 :(得分:1)

我查了一下 - 但我不能重复你的结果。在我的计算机上,插入临时表的速度与我测试的所有版本相似。它有些奇怪,因此在你的comp上插入8.2.12比插入常规表快10倍。在我的计算机上,插入临时表的速度比插入常规表快1.5-2倍。