我有一个JDBC ResultSet,在只处理了几千行之后给了我一个TimeOut。我有几百万行要处理,所以我想调整我的程序以避免这种情况,只是不确定需要调整什么。
数据库表已编制索引并使用选择标准快速返回数据,因此我不相信它在数据库端。我在地址列和整数之间返回了14列混合。不是很多数据。
我正在做一个connection.createStatement(),然后从那里构建SQL。答案可能是我应该使用准备好的声明。
Statement stmt = null;
ResultSet rs = null;
try {
stmt = conn.createStatement();
String jobNameFilter = (Cli.getJobName() != null) ? " AND [JobName] = '" + Cli.getJobName() + "'" : "";
String sortOrder = (Cli.isAscending()) ? "ASC" : "DESC";
String orderByClause = Cli.isRandom() ? " ORDER BY [Randomizer] " + sortOrder + ",[RecordID] " + sortOrder : " ORDER BY [RecordID] " + sortOrder;
String startingIdFilter = (Cli.getStartingId() != null) ? " AND [RecordId] > " + Cli.getStartingId() : "";
String driverQuery = "SELECT [RecordID], [Column1] AS [TrackingID], [Address]" + ", [Suite] AS [AptSuiteOther], [City], [Building2Key]"
+ ", [ST] AS [State], [ZIPCode]" + ", [BusinessName], [ContactLastName], [Suite]" + ", [Phone], [EmailAddress]"
+ " FROM [Project].[TestSet] WITH (READUNCOMMITTED)"
+ " INNER JOIN [Project].[State] sttable ON sttable.[ST] = UPPER([Project].[TestSet].[ST]) AND [TerritoryFlag] = 0" + " WHERE [BuildingKey] = 0 " + jobNameFilter
+ startingIdFilter + " AND (([FirstResponse] IS NULL AND ([Building2Key] IS NULL OR [Building2Key] = 0)) OR ([Building2Key] > 0 AND [SecondResponse] IS NULL)) " + orderByClause;
rs = stmt.executeQuery(driverQuery);
} catch (SQLException e1) {
logger.error("SQLException", e1);
}
try {
while (rs.next()) {
int recordId = rs.getInt("RecordID");
// Process data
numberProcessed++;
}
} catch (SQLException sqle) {
logger.error("SQLException", sqle);
}
我正在关闭不同级别的finally语句中的所有ResultSet,Connection和Statement。
我不确定是否需要将超时设置为更高的值,setFetchSize更大?陷阱超时并再次创建ResultSet?
将逻辑更改为一次只拉一行?
答案 0 :(得分:0)
您必须对自己的应用进行分析才能确定,但我猜测" //处理数据"部分是罪魁祸首。您在处理所有行时保持连接打开。
我建议您一次读取一批行,关闭该语句,然后处理批处理。然后选择下一批,冲洗并重复。
一次选择一行会带来很多开销,所以我不建议这样做。
此外,请确保您使用的是连接池,这样您每次都不必构建新的连接。游泳池将为您保持开放状态,如果它已经死亡/超时,则回收它。