我的问题与如何做某事无关，更多的是如何帮助提高绩效。我为长篇文章道歉，但我认为既然这是关于表现，我应该发布关于我正在做什么的所有细节，看看是否有人可以提供帮助。
我必须制作一个程序，从2个不同的数据库中获取信息，创建元数据，相应的BLOB（pdf文件）并将其拉链。
仅在数据库中找到BLOB对象时才会创建元数据文件。我设法这样做了，但问题有时候我的查询结果可能会高达80k，这可能需要长达20个小时才能完成，考虑到每个blob对象不超过100 KB，这是荒谬的。
我有一个事务数据库（让我们称之为TEQ8P），其中存储了所有ID和元数据的信息。我按日期和状态查询数据（很糟糕，但我没有任何其他过滤器，这是要求）
TEQ8P.openConnection();
Boolean flag = TEQ8P.ExecuteQuery("select tr.legaltransnumber, cc.country_code, tr.transnumber, tr.postingdate, tr.transdate from EQUATE.transheader tr inner join companycode_country cc on tr.tocompanycode = cc.company_code where tr.transtype = 'IC' and tr.transdate between to_date(" + date + ", 'DD/MM/YYYY') and to_date(" + nextday + ", 'DD/MM /YYYY')");
public Boolean ExecuteQuery(String query) {
Statement stmt;
ResultSet rs = null;
try {
stmt = connection.createStatement();
rs = stmt.executeQuery(query);
if(!rs.isBeforeFirst())
return false;
rowset = new CachedRowSetImpl();
rowset.populate(rs);
metadata = rs.getMetaData();
rs.close();
stmt.close();
return true;
} catch (SQLException e) {
HLog.error(e.getMessage());
e.printStackTrace();
return false;
//System.out.println(query);
}
finally
{
closeConnection();
}
}
我正在使用JAVA 1.5（每个要求再次）所以我从oracle下载了cachedrowsetimp jar，所以一旦我完成查询数据，我将它保存到内存并关闭连接。
之后，我开始浏览cachedrowset并查询Warehouse DB上的每个ID。我不能选择“在哪里”，因为没有办法判断是否所有的id都会被找到而且“in”只会返回它找到的项目，而我不知道它没有找到哪些项目找。但如果您有任何建议，请！
所以我使用preparedStatement在ORACLE上使用绑定变量并开始编写blob对象。
我的第一个问题是，有更好的方法来编写blob文件吗？更快的方式？
if(flag)
{
String Query = "select wh.transnumber, wh.image from EQUATEWH.legalimage wh where wh.transnumber = ?";
WEQ8I.openConnection();
WEQ8I.setPreparedStmt(Query);
WEQ8I.WriteBlobs(PDF, TEQ8P.getRowsSet(), IC_FILE);
WEQ8I.closePrepStmt();
WEQ8I.closeConnection();
FileUtils.createZip(prop.getProperty("ZIPDIR_IC"), lsize, prop.getProperty("ZIPNAME_IC"));
public void WriteBlobs(String path, CachedRowSetImpl set, IMP_File IC_FILE)
{
ResultSet rs = null;
try
{
while(set.next())
{
pstmt.setString(1, set.getString(3));
rs = pstmt.executeQuery();
if(!rs.isBeforeFirst())
{
System.out.println("invoice " + set.getString(3) + "was not found on W database");
ErrorFile.writeErrorFile(set.getString(3));
}
else
{
//getting the name of the PDF file, if no ID use legaltransnumber
String ID = set.getString(1);
if(ID == null)
{
ID = set.getString(3);
}
while(rs.next())
{
FileOutputStream fos = null;
try
{
Blob blob = rs.getBlob(2);
InputStream is = blob.getBinaryStream();
fos = new FileOutputStream(path + ID + ".pdf");
int i = 0;
while ((i = is.read()) != -1)
{
fos.write(i);
}
fos.close();
is.close();
IC_FILE.fillIMPFile("IC", ID, set.getString(3), set.getString(2), set.getString(5));
}catch (Exception e)
{
e.printStackTrace();
ErrorFile.writeErrorFile(set.getString(3));
}
}
}
rs.close();
}
IC_FILE.writeFile();
} catch (SQLException e)
{
System.out.println("Problem when trying to create Record: " + path);
HLog.error(e.getMessage());
e.printStackTrace();
try
{
ErrorFile.writeErrorFile(set.getString(3));
}catch (Exception ex)
{
ex.printStackTrace();
HLog.error(e.getMessage());
}
}
}
如果查询在WarehouseDB上找到该ID的结果并且图像不为null（意味着它不会转到null异常），我创建了metadafile，即IC_FILE。 IC_FILE不会写入文件，它会将所有内容保存到内存中，当它完成后写入文件时，我认为这有助于提高性能，因为它不需要对每个文件进行I / O操作，只需使用IC_FILE .writefile（）。
要创建元数据文件，我还必须（按要求再次）从文件中获取容器名称。检索容器名称我必须使用Transactional数据库中的3个字段，连接它们并在该文件中搜索它们。 这就是我创建IMP文件的方法，首先从每条记录中获取数据：
public void fillIMPFile(String type, String ID, String ID2, String companyCode, String date)
{
date = date.substring(0, 10);
date = date.replace("-", "/");
date = date.substring(5, 7) + "/" + date.substring(8, 10) + "/" + date.substring(0, 4);
String Name = prop.getProperty("NAME");
String info = prop.getProperty(type);
String DOS = Name + info + ID + ".";
String NOTES = Name + " " + info + " ";
info += getContainer(companyCode, date, type);
if(type.equals("IC"))
{
String desc = prop.getProperty("DESC_PDF");
DOS += "pdf";
NOTES += desc + " " + ID + " " + ID2;
buffer += info + "\t" + date + "\t" + date + "\t" + DOS + "\t" + NOTES + "\t"
+ NOTES + "\t" + ID2;
}
要获取容器我使用属性对象，但我想可能有更好的选择？哈希映射可能吗？
public String getContainer(String companyCode, String Date, String type)
{
Calendar cal = Calendar.getInstance();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy");
Date = sdf.format(cal.getTime());
//mal siempre pondra 2012
String data = type + companyCode + Date;
String container = containers.getProperty(data);
if(container == null)
{
data = type + "WW" + Date;
container = containers.getProperty(data);
}
return container;
}
最后写文件：
public void writeFile()
{
try
{
FileWriter fw = new FileWriter(File, true);
BufferedWriter bw = new BufferedWriter(fw);
bw.write(buffer);
bw.close();
}catch (IOException e)
{
e.printStackTrace();
HLog.error(e.getMessage());
}
}
谢谢！ 丹尼尔
答案 0 :(得分：0)
修复...使用绑定变量并为每年创建多个容器文件