python postgres游标时间戳问题

时间:2009-03-17 16:57:24

标签: python postgresql cherrypy

我对交易数据库有点新,并且遇到了我想要了解的问题。

我创建了一个简单的演示,其中数据库连接存储在cherrypy创建的5个线程中。我有一个方法,显示存储在数据库中的时间戳表和一个添加新的时间戳记录的按钮。

该表有2个字段,一个用于python传递的datetime.datetime.now()时间戳,另一个用于数据库时间戳设置为默认NOW()。


CREATE TABLE test (given_time timestamp,
                   default_time timestamp DEFAULT NOW());

我有2个与数据库交互的方法。第一个将创建一个新游标,插入一个新的given_timestamp,提交游标,然后返回索引页面。第二种方法将创建一个新游标,选择10个最新时间戳并将其返回给调用者。


import sys
import datetime
import psycopg2
import cherrypy

def connect(thread_index): 
    # Create a connection and store it in the current thread 
    cherrypy.thread_data.db = psycopg2.connect('dbname=timestamps')

# Tell CherryPy to call "connect" for each thread, when it starts up
cherrypy.engine.subscribe('start_thread', connect)

class Root:
    @cherrypy.expose
    def index(self): 
        html = []
        html.append("<html><body>")

        html.append("<table border=1><thead>")
        html.append("<tr><td>Given Time</td><td>Default Time</td></tr>")
        html.append("</thead><tbody>")

        for given, default in self.get_timestamps():
            html.append("<tr><td>%s<td>%s" % (given, default))

        html.append("</tbody>")
        html.append("</table>")

        html.append("<form action='add_timestamp' method='post'>")
        html.append("<input type='submit' value='Add Timestamp'/>")
        html.append("</form>")

        html.append("</body></html>")
        return "\n".join(html)

    @cherrypy.expose
    def add_timestamp(self):
        c = cherrypy.thread_data.db.cursor()
        now = datetime.datetime.now()
        c.execute("insert into test (given_time) values ('%s')" % now)
        c.connection.commit()
        c.close()
        raise cherrypy.HTTPRedirect('/')

    def get_timestamps(self):
        c = cherrypy.thread_data.db.cursor()
        c.execute("select * from test order by given_time desc limit 10")
        records = c.fetchall()
        c.close()
        return records

if __name__ == '__main__':

    cherrypy.config.update({'server.socket_host': '0.0.0.0',
                            'server.socket_port': 8081,
                            'server.thread_pool': 5,
                            'tools.log_headers.on': False,
                            })

    cherrypy.quickstart(Root())

我希望given_time和default_time时间戳只相隔几微秒。但是我得到了一些奇怪的行为。如果我每隔几秒钟添加一次时间戳,则default_time与given_time相差不到几微秒,但通常距离之前的 given_time只有几微秒。

Given Time                  Default Time
2009-03-18 09:31:30.725017  2009-03-18 09:31:25.218871
2009-03-18 09:31:25.198022  2009-03-18 09:31:17.642010
2009-03-18 09:31:17.622439  2009-03-18 09:31:08.266720
2009-03-18 09:31:08.246084  2009-03-18 09:31:01.970120
2009-03-18 09:31:01.950780  2009-03-18 09:30:53.571090
2009-03-18 09:30:53.550952  2009-03-18 09:30:47.260795
2009-03-18 09:30:47.239150  2009-03-18 09:30:41.177318
2009-03-18 09:30:41.151950  2009-03-18 09:30:36.005037
2009-03-18 09:30:35.983541  2009-03-18 09:30:31.666679
2009-03-18 09:30:31.649717  2009-03-18 09:30:28.319693

然而,如果我每分钟添加一个新的时间戳,则given_time和default_time只会按预期的几微秒关闭。但是,在提交第6个时间戳(线程数+ 1)后,default_time与第一个given_time时间戳相差几微秒。

Given Time                  Default Time
2009-03-18 09:38:15.906788  2009-03-18 09:33:58.839075
2009-03-18 09:37:19.520227  2009-03-18 09:37:19.520293
2009-03-18 09:36:04.744987  2009-03-18 09:36:04.745039
2009-03-18 09:35:05.958962  2009-03-18 09:35:05.959053
2009-03-18 09:34:10.961227  2009-03-18 09:34:10.961298
2009-03-18 09:33:58.822138  2009-03-18 09:33:55.423485

即使我在每次使用后显式关闭游标,但似乎仍在重用前一个游标。如果我在完成光标并每次创建一个新光标后关闭光标,那怎么可能呢?有人可以解释一下这里发生了什么吗?

接近答案:

我已经将一个cursor.connection.commit()添加到了get_timestamps方法,现在它为我提供了带有时间戳的准确数据。任何人都可以解释为什么我需要调用cursor.connection.commit()当我所做的只是一个选择?我猜每次我得到一个游标,一个事务就开始了(或者继续它提交的现有事务单元)。有没有更好的方法来做到这一点,或者每次我得到一个光标时,无论我对光标做什么,我都会坚持提交?

3 个答案:

答案 0 :(得分:3)

尝试按照模块文档http://tools.cherrypy.org/wiki/Databases

中的说明调用c.close()
def add_timestamp(self):
        c = cherrypy.thread_data.db.cursor()
        now = datetime.datetime.now()
        c.execute("insert into test (given_time) values ('%s')" % now)
        c.connection.commit()
        c.close()
        raise cherrypy.HTTPRedirect('/')

def get_timestamps(self):
        c = cherrypy.thread_data.db.cursor()
        c.execute("select * from test order by given_time desc limit 10")
        records = c.fetchall()
        c.close()
        return records

答案 1 :(得分:1)

解决您最近编辑提出的问题:

在PostgreSQL中,NOW() 当前时间,但是当前交易开始时的时间。 Psycopg2可能会隐式为您启动一个事务,并且由于事务永远不会被关闭(通过提交或其他方式),因此时间戳会“卡住”并变得陈旧。

可能的修复:

  • 经常提交(如果你只做SELECT,那就很傻)
  • 设置Psycopg2以使用不同的行为来自动创建事务(可能很难做到正确, 会影响应用的其他部分)
  • 使用不同的时间戳功能,例如statement_timestamp()(不符合SQL标准,但在这种情况下非常完美)

来自the manual, section 9.9.4,重点补充:

  

PostgreSQL提供了许多   返回值相关的函数   到目前的日期和时间。这些   SQL标准函数全部返回   基于开始时间的值   当前交易:

     
      
  • CURRENT_DATE
  •   
  • CURRENT_TIME
  •   
  • CURRENT_TIMESTAMP
  •   
  • CURRENT_TIME(precision)
  •   
  • CURRENT_TIMESTAMP(precision)
  •   
  • LOCALTIME LOCALTIMESTAMP
  •   
  • LOCALTIME(precision)
  •   
  • LOCALTIMESTAMP(precision)
  •   
     

CURRENT_TIMECURRENT_TIMESTAMP   以时区交付价值;   LOCALTIMELOCALTIMESTAMP   提供没有时区的价值。

     

CURRENT_TIMECURRENT_TIMESTAMP,   LOCALTIMELOCALTIMESTAMP可以   可选地给出精度   参数,导致结果   四舍五入到那么多分数   秒字段中的数字。没有   精度参数,结果是   给予完全可用的精确度。

     

...

     

由于这些函数返回   当前交易的开始时间,   他们的价值观在这期间不会改变   交易即可。这被认为是   功能:意图是允许一个   单一交易有一个   一致的“当前”概念   时间,这样多次修改   在同一笔交易中承担   同一时间戳。

     

注意:其他数据库系统可能会更频繁地推进这些值。

     

PostgreSQL还提供了功能   返回的开始时间   目前的声明,以及   当前的实际当前时间   函数被调用。完整清单   非SQL标准时间函数的含义是:

     
      
  • now()
  •   
  • transaction_timestamp()
  •   
  • statement_timestamp()
  •   
  • clock_timestamp()
  •   
  • timeofday()
  •   
     

now()是传统的PostgreSQL   相当于CURRENT_TIMESTAMP。   transaction_timestamp()同样如此   相当于CURRENT_TIMESTAMP,但是   被命名是为了清楚地反映它是什么   回报。 statement_timestamp()   返回当前的开始时间   声明(更具体地说,时间   收到最新命令   来自客户的消息)。   statement_timestamp()和   transaction_timestamp()返回   第一个命令期间的值相同   交易,但可能会有所不同   后续命令。   clock_timestamp()返回实际值   当前时间,因此它的价值   甚至在单个SQL中也会发生变化   命令。 timeofday()是历史性的   PostgreSQL功能。喜欢   clock_timestamp(),它返回   实际当前时间,但作为一个   格式化文本字符串而不是   带时区值的时间戳。

答案 2 :(得分:0)

我已经为选择时间戳并解决了问题的方法添加了提交。

 def get_timestamps(self):
    c = cherrypy.thread_data.db.cursor()
    c.execute("select * from test order by given_time desc limit 10")
    records = c.fetchall()
    c.connection.commit()  # Adding this line fixes the timestamp issue
    c.close()
    return records

任何人都可以解释为什么我需要调用cursor.connection.commit(),而我所做的只是一个选择?