Question

我使用Slick 3和Akka Streams从mysql传输数据。

这是我构建源代码的方式

import slick.jdbc.MySQLProfile.api._
val enableJdbcStreaming: (java.sql.Statement) => Unit = {statement =>
    if (statement.isWrapperFor(classOf[com.mysql.cj.jdbc.StatementImpl])) {
       statement.unwrap(classOf[com.mysql.cj.jdbc.StatementImpl]).enableStreamingResults()
    }
  }
val query = Tables.Foo.filter(r => r.isActive === true)
     .map(r => r.id).result.withStatementParameters(statementInit = enableJdbcStreaming)
Source.fromPublisher(db.stream(query))

我的应用程序运行了20分钟，然后关闭并出现以下错误

[error] Exception in thread "abhipool network timeout executor" java.lang.NullPointerException
[info] 15:31:46 INFO  [HikariPool] - abhipool - Close initiated...
[error]     at com.mysql.cj.mysqla.io.MysqlaProtocol.setSocketTimeout(MysqlaProtocol.java:1397)
[error]     at com.mysql.cj.mysqla.MysqlaSession$1.run(MysqlaSession.java:401)
[error]     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
[error]     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
[error]     at java.lang.Thread.run(Thread.java:745)

我有一种感觉，因为我的查询运行了很长时间，发生了某种超时，导致此关闭。

我的连接

mysql {
  profile = "slick.jdbc.MySQLProfile$"
  dataSourceClass = "slick.jdbc.DatabaseUrlDataSource"
  properties {
    driver = "com.mysql.cj.jdbc.Driver"
    url  = "jdbc:mysql://foo:3306/bar?useLegacyDatetimeCode=false&serverTimezone=America/Chicago"
    user = "foo"
    password = "bar"
  }
  connectionTimeout = 0
  idleTimeout = 0
  maxLifetime = 0
  maxConnections = 40
  minConnections = 10
  poolName = "abhipool"
  numThreads = 10
}

依赖

"com.typesafe.slick" %% "slick" % "3.2.1",
"com.typesafe.slick" %% "slick-hikaricp" % "3.2.1",
"mysql" % "mysql-connector-java" % "6.0.6",

如何配置应用程序数据库连接，以便即使我的流应用程序将数据流式传输数天......它也会继续运行。

关于同一问题here的讨论非常冗长，但它并没有告诉我如何真正解决这个问题。这个问题使得完全不可能编写使用Mysql作为源的长时间运行的流任务。

Answer 1

您可以通过在URL

中添加参数来配置MySQL驱动程序

url  = "jdbc:mysql://foo:3306/bar?useLegacyDatetimeCode=false&serverTimezone=America/Chicago&socketTimeout=30000"

为了示例，我放了30000，放置了符合您需要的正确值

用于MySQL Streaming的Akka Streams Hikari连接池

1 个答案: