MySQL Pentaho通信链接错误ETL

Question

当试图在每月的最后一天或每月的第二天的第二天之前从DW加载一个月的数据时，在加载数据时会出现通信链接错误，并会停止正在运行的作业。由于这最后几组数据未加载。

关于使用的转换步骤：

表输入-> DB JOIN->流查找->表输出

请对此提供帮助。我们对此感到困惑。

2019/01/11 05:42:18 - Table input.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Unexpected error closing query : org.pentaho.di.core.exception.KettleDatabaseException: 
2019/01/11 05:42:18 - Table input.0 - Couldn't close query: resultset or prepared statements
2019/01/11 05:42:18 - Table input.0 - **Communications link failure**
2019/01/11 05:42:18 - Table input.0 - 
2019/01/11 05:42:18 - Table input.0 - **The last packet successfully received from the server was 109 milliseconds ago.  The last packet sent successfully to the server was 22 milliseconds ago.**

Answer 1

由于许多原因可能导致此问题。如果我是你，我会检查以下几点。

1. MySQL的问题-您应检查流程执行期间（https://dev.mysql.com/doc/refman/5.6/en/error-log.html）mysql日志中是否有任何错误
2. 这可能是内存问题。尝试增加Spoon的Java堆大小。 https://communities.bmc.com/docs/DOC-100146
中描述了类似的问题
3. 尝试优化MySQL或JDBC参数。例如，您可以在MySQL服务器上增加net-write-timeout和net-read-timeout，或者在JDBC驱动程序上rewriteBatchedStatements = true和useCompression = true。

Answer 2

由于长期运行的查询，也会引起这种问题，这是由于net_write_timeout被默认设置为60 seconds引起的。此参数位于my.ini中，您可以在其中将net_write_timeout的默认值更改为更大的值，以帮助您从此问题中恢复。