背景
这是一个多线程批处理应用程序,每个线程都有其自己的文件。在文件创建失败的情况下,我有其他逻辑可以阻止文件重命名的发生。
此过程作为守护程序运行,每天生成数千个文件。每3天大约有1个文件发生此异常,因此我们使用的方法大部分时间都有效。
运行批处理的计算机为Red Hat Enterprise Linux Server release 6.7 (Santiago)
Java版本为1.8.0_162
临时文件名是通过附加java.util.UUID中的UUID.randomUUID()结果生成的。
实际文件名可能重复,这就是为什么我们使用rand UUID而不是.tmp作为临时文件名的原因。由于移动部分位于同步块中,所以这不是问题。
例外:
2018-07-26 15:06:01,743 ERROR (ProcessRecordsTask.java:renameFileAfterProcess():674) - Error: Unable to rename file:
java.nio.file.NoSuchFileException: /logs/apps/appname/FILNAMESTUFF_07_26_2018_15_05_51.xml.5c80331c-3b7e-4e16-90d7-c0d7810451c5 -> /logs/apps/appname/FILNAMESTUFF_07_26_2018_15_05_51.xml
at sun.nio.fs.UnixException.translateToIOException(UnixException.java:86)
at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
at sun.nio.fs.UnixCopyFile.move(UnixCopyFile.java:396)
at sun.nio.fs.UnixFileSystemProvider.move(UnixFileSystemProvider.java:262)
at java.nio.file.Files.move(Files.java:1395)
at com.filetransferbatch.task.ProcessRecordsTask.renameFileAfterProcess(ProcessRecordsTask.java:664)
at com.filetransferbatch.task.ProcessRecordsTask.saveFileData(ProcessRecordsTask.java:349)
at com.filetransferbatch.task.ProcessRecordsTask.xmlTransfer(ProcessRecordsTask.java:244)
at com.filetransferbatch.task.ProcessRecordsTask.call(ProcessRecordsTask.java:162)
at com.filetransferbatch.task.ProcessRecordsTask.call(ProcessRecordsTask.java:62)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
我从以下代码段获取了异常:
private boolean renameFileAfterProcess(String tmpFileName) {
boolean fileRenamed = false;
try {
if (null != tmpFileName && (!("".equals(tmpFileName)))) {
Path tmpFilePath = Paths.get(tmpFileName);
logger.info("tmpFilePath:" + tmpFilePath + ":Renamed Filepath: " + realFilePath);
Path realFile = Paths.get(realFilePath);
synchronized (this) {
logger.info("File " + tmpFilePath + " exists: " + Files.exists(tmpFilePath));
Files.move( tmpFilePath,
realFile,
StandardCopyOption.REPLACE_EXISTING,
StandardCopyOption.ATOMIC_MOVE);
logger.info(tmpFileName + ":File was successfully renamed to :" + realFilePath);
fileRenamed = true;
}
}
} catch (IOException e) {
fileRenamed = false;
logger.error("Error: Unable to rename file:", e);
} catch (Exception e) {
logger.error("Error :", e);
}
return fileRenamed;
}
以这种方式创建文件
private boolean createFile(String fileName, byte[] fileDataMerged) {
boolean fileCreated = false;
if (fileName.trim().length() != 0) {
try {
Path createdFilePath = Files.write( Paths.get(tmpFilePath),
fileDataMerged,
StandardOpenOption.SYNC,
StandardOpenOption.CREATE,
StandardOpenOption.WRITE);
if (createdFilePath != null) {
fileCreated = Files.exists(createdFilePath);
}
} catch (IOException e) {
logger.error("Error writing temp file: ", e);
} catch (Exception e) {
logger.error("Error writing temp file: ", e);
}
}
return fileCreated;
}
我唯一想解决此问题的方法是在文件系统级问题的情况下将线程休眠几毫秒。问题是,要在非产品环境中重现异常确实很困难。
我怀疑几乎所有线程都具有相同的真实文件名时会发生异常,因此有一堆重命名为相同的文件名,但是我不确定。
谢谢
**编辑:**
我们正在运行一个skybot作业,该作业正在使用a抓取文件。超过一天的csv扩展名。我认为作业正在寻找要移动的文件时锁定了文件夹中的所有文件。在进行代码修复后,我可以删除skybot作业,此问题就消失了。
答案 0 :(得分:0)
在Files.move
之前运行Files.createDirectories
,例如:
Files.createDirectories(Paths.get("pathTo"));
Files.move(Paths.get("pathFrom"), Paths.get("pathTo"));