为什么我的Clojure应用程序需要_minutes_连接到Postgres?

时间:2017-03-10 08:36:49

标签: postgresql jdbc clojure c3p0 korma

我的项目使用Docker Compose创建两个服务(app和postgres)。在本地,app(使用Compojure,JDBC,Korma,Ragtime等的Clojure应用程序)立即连接到postgres而没有问题。但是,当我将我的应用程序部署到Digital Ocean Droplet(1 GB RAM / 30 GB磁盘/ Ubuntu 16.04.2 x64)进行测试时,应用程序似乎需要分钟来连接到postgres - 例如Korma插入挂了几分钟,然后最终开始工作没有问题。 Droplet很小,但它似乎没有资源(基于htop的输出)。

以下是我的申请的相关部分:

;; project.clj
(defproject backend "0.1.0-SNAPSHOT"
  :min-lein-version "2.0.0"
  :dependencies [[com.grammarly/perseverance "0.1.2"]
                 [commons-codec/commons-codec "1.4"]
                 [compojure "1.4.0"]
                 [environ "1.0.3"]
                 [clj-http "2.3.0"]
                 [korma "0.4.3"]
                 [lock-key "1.4.1"]
                 [me.raynes/fs "1.4.6"]
                 [midje "1.6.3"]
                 [org.clojure/clojure "1.8.0"]
                 [org.clojure/core.async "0.3.441"]
                 [org.clojure/java.jdbc "0.7.0-alpha2"]
                 [postgresql "9.3-1102.jdbc41"]
                 [ragtime "0.6.0"]
                 [ring-cors "0.1.7"]
                 [ring-mock "0.1.5"]
                 [ring/ring-defaults "0.1.5"]
                 [ring/ring-json "0.4.0"]]
  :plugins [[lein-environ "1.0.3"]
            [lein-midje "3.1.3"]
            [lein-ring "0.9.7"]]
  :aliases {"migrate"  ["run" "-m" "backend.db/ragtime-migrate"]
            "rollback" ["run" "-m" "backend.db/ragtime-rollback"]}
  :ring {:handler backend.handler/app}
  :profiles
  {:dev {:dependencies [[javax.servlet/servlet-api "2.5"]
                        [ring/ring-mock "0.3.0"]]}})

;; db.clj
(ns backend.db
  (:use [korma.core]
        [korma.db])
  (:require [clojure.string :as string]
            [environ.core :as environ]
            [lock-key.core :refer [encrypt-as-base64 decrypt-from-base64]
                           :rename {encrypt-as-base64 encrypt
                                    decrypt-from-base64 decrypt}]
            [ragtime.jdbc :as jdbc]
            [ragtime.repl :as repl]))

(def database-host (environ/env :postgres-port-5432-tcp-addr)) ;; set by Docker
(def database-name (environ/env :database-name))
(def database-password (environ/env :database-password))
(def database-port (environ/env :postgres-port-5432-tcp-port)) ;; set by Docker
(def database-sslmode (environ/env :database-sslmode))
(def database-user (environ/env :database-user))
(def database-url (str "jdbc:postgresql://"
                       database-host
                       ":"
                       database-port
                       "/"
                       database-name
                       "?user="
                       database-user
                       "&password="
                       database-password))

(defn load-config []
    {:datastore  (jdbc/sql-database {:connection-uri database-url})
     :migrations (jdbc/load-resources "migrations")})

(defn ragtime-migrate []
  (repl/migrate (load-config)))

(defn ragtime-rollback []
  (repl/rollback (load-config)))

(defdb db (postgres {:db database-name
                     :host database-host
                     :password database-password
                     :port database-port
                     :user database-user
                     :sslmode database-sslmode}))

(defentity engagements)

(def lock (environ/env :lock))

(defn query-engagement [id]
  (let [engagement (first
                     (select
                       engagements
                       (where {:id (read-string id)})))
        decrypted-email (->
                          (:email_address engagement)
                          (decrypt lock))]
    (conj engagement {:email_address decrypted-email})))

(defn create-engagement [email-address image-path]
  (let [encrypted-email (encrypt email-address lock)]
    (insert engagements
      (values [{:email_address encrypted-email
                :image_path image-path}]))))

;; docker-compose.yml
app:
  build: .
  volumes:
    - .:/app
  ports:
    - "127.0.0.1:3000:3000"
  links:
    - postgres
postgres:
  build: .
  dockerfile: Dockerfile-postgres
  expose:
    - "5432"

我做错了什么吗?这可能是JDBC连接池问题吗?是否存在调试此类问题的约定?

更新:如果我直接在Digital Ocean Droplet上运行应用程序,而不是通过Docker,我可以确认问题仍然存在。

2 个答案:

答案 0 :(得分:1)

我遇到了与Hibernate类似的问题,我设法缩小它以减慢JDBC驱动程序中的元数据获取速度,特别是如果数据库服务器有许多不同的数据库(无论您是否有权访问它们)

在这种情况下它可能类似,所以我建议您查看是否可以在Korma中禁用元数据提取。

我还没有在JDBC驱动程序本身找到它的设置,但你应该能够通过将logLevel=2参数添加到jdbc-url来从数据库本身获得更多日志记录,因为它可能会显示给你关于问题所在的更多细节。

答案 1 :(得分:1)

TLDR;

将以下标志添加到project.clj解决了我的问题::jvm-opts ["-Djava.security.egd=file:/dev/urandom"] (HT to Redditor /u/fitzoh!)

据我了解,我看到的问题是由JVM向/dev/random发出随机数阻止请求引起的。由于Droplet没有做任何事情(IO,网络请求等),因此需要很长时间(在我的情况下为几分钟)才能为/dev/random生成足够的熵以开始生成随机数。

一种解决方法是使用/dev/urandom,它不等待熵累积,并且会愉快地生成(低质量)随机数。来自this优秀的数字海洋教程,

  

...但是,由于它是一个非阻塞设备,它将继续产生“随机”数据,即使熵池耗尽也是如此。这可能导致较低质量的随机数据,因为更可能重复先前的数据。当生产服务器上的可用熵不足时,可能会发生很多不好的事情,特别是当此服务器执行加密功能时。

另一个看似更强大的解决方法(同样来自the excellent DO tutorial)是使用软件解决方案,例如haveged

  

基于HAVEGE原理,以前基于其关联的库,hasged允许基于处理器上的代码执行时间的变化来生成随机性。由于即使在相同硬件上的相同环境中,一段代码几乎不可能花费相同的执行时间,因此运行单个或多个程序的时间应该适合于播种随机源。在重复执行循环后,使用处理器时间戳计数器(TSC)中的差异,伪造的实现会使系统的随机源(通常为/ dev / random)变为种子。