postgres中的空闲连接导致进程卡住或导致错误

时间:2016-04-17 14:07:38

标签: ruby postgresql activerecord jruby ruby-2.3

我们将Postgres作为我们的后端数据库。我们的流程运行一些工作(即它在数据库中执行一些插入/更新),然后睡眠一小时

这是我们注意到的。当我们的进程休眠时,我们的Postgres连接状态被视为空闲。

postgres  5045  0.3  0.4 231220 33780 ?        Ss   12:13   0:16 postgres: scp scp_test x.x.x.x(60400) idle    

现在我的问题是?

如果,我有一个睡了一个小时的过程

Postgres会在一段时间后关闭空闲连接吗?

因为在下一次运行时,该过程无法插入/更新数据库中的任何记录

这是我的代码的样子。

  $logger  = Logger.new('log/checker.log')
  last_modified = Time.now
  while
    if (last_modified == File.mtime(file_path))
      $logger.info "Sleeping for 1 hour"
      sleep 3600
    else
      $logger.info "Inserting the file mtime changed .."
      last_modified = File.mtime(file_path)
      $logger.info "File modified ....."
      attributes = Test.testFile(file_path)
      index = 0 
      $logger.info "........Index set......"
      header_attributes = attributes.shift
      $logger.info "...........Header removed..........."
      trailer_attributes = attributes.pop
      $logger.info "...Trailer removed......."
      count = attributes.count
      $logger.info "............Count calculated #{count} ........."
      attributes.each_slice(50000) { |records|
        _records = initialize_records(records)
        _records.each { |record| 
          record.save 
          index += 1 
          $logger.info "Inserting ...... [#{index}/#{count}]"
       }
     }
     $logger.info "Completed insertion of #{count}" 
   end
 end

使用

进行测试
Ruby-2.2.2  -  ActiveRecord-4.2.6  - pg-0.18.0 
Ruby-2.3.0  -  ActiveRecord-4.2.6  - pg-0.18.0  
Jruby-9.0.5.0 - ActiveRecord-4.2.6 - activerecord-jdbc-adapter

Postgres版本。

 PostgreSQL 9.4.5 on x86_64-unknown-linux-gnu, compiled by gcc (Debian 4.9.2-10) 4.9.2, 64-bit
(1 row)

Ruby和JRuby输出之间有1个区别?

虽然这两个过程在从睡眠中醒来后都会卡住

Ruby进程因PG::UnableToSend: SSL SYSCALL error: EOF detected错误

而死亡

但JRuby进程永远陷入困境(不会死)。

不确定问题出在哪里,因为此时我无法确定任何特定的库或代码。

注意:在loopback接口上工作得很好。有问题的postgres服务器是远程服务器..

1 个答案:

答案 0 :(得分:0)

在数据文件夹中有一个名为postgresql.conf的文件,您必须将其配置为向客户端发送keepalive消息。请阅读this了解详情。

配置postgresql.conf

您的postgresql.conf文件应该有这样一行tcp_keepalives_idle。 如果要每5分钟向客户端计算机发送keepalive消息;像这样更新tcp_keepalives_idle

tcp_keepalives_idle = 300

确保通过删除#mark。取消注释该行。