我有预处理器,它在输入/子文件夹中打开.jpg文件,处理它们并写入已处理/子文件夹/ filename.npy
如果脚本失败,我只需处理未处理的文件。如何检查已处理/子文件夹中的所有文件/并从执行中排除所有具有与已处理的.npy相同的文件名的.jpg?谢谢! 原因:处理需要43个小时,如果失败 - 从一开始就会很昂贵。 注意:'input'和'processed'中有不同数量的子文件夹。
答案 0 :(得分:0)
对于漫长的过程,生成日志文件总是好的。 你可以在哪里举例:
输入filenameInput - >输出成功filenameOutput
输入filenameInput - >输出失败的filenameOutput
然后执行一个脚本来读取此日志文件并重新运行(我猜不同的输入参数)失败的进程。