Question

这个错误让我发疯。从我的脚本输出错误：

>>>Run shell cmd "grep -vw ^# *.blastn | awk $1 != $2 > *matchfile*"
grep: /projects/percid100_2/blastn.outfile: No such file or directory
2

我检查了文件，它肯定在那里。

ll /projects/percid100_2/blastn.outfile
-rw-r--r-- 1  users 42633 Apr 17 12:34 /projects/percid100_2/blastn.outfile

上一个功能：

def run_blastn(outdir, outfile):
    """Run blastn under given percent identity """
    print ">>> Run blastn"
    blastnlog = os.path.join(outdir, 'blastn_db_log')
    # make database and run blastn 
    ref = Popen(['cmd1', '-logfile', blastnlog])
    ref.communicate()
    blastn = Popen(['cmd2', '-out', outfile], stderr=PIPE)

发生功能错误：

def filter_query(infile, matchfile):
    """Filter out self to self hit and no hit"""
    print ">>> Filter query self to self hit and no hit"
    print('>>> Run shell cmd "grep -vw ^# *.blastn | awk $1 != $2 > *matchfile*"')
    grep = Popen(['grep', '-vw', '^#', infile], stdout=PIPE)
    awk = Popen(['awk', '$1 != $2'], stdin=grep.stdout, stdout=PIPE)
    output = awk.communicate()[0]
    grep.communicate()
    if grep.returncode != 0:
        print grep.returncode
        sys.exit()

    with open(matchfile, 'wb') as ofile:
        print 'Write to file %s' % matchfile
        ofile.write(output)

主要功能：

def main():
    parser = get_parser()
    args = parser.parse_args()
    if not os.path.exists(args.outdir):
        os.makedirs(args.outdir)
    outdir = os.path.abspath(args.outdir)

    bloutfile = 'blastn.outfile'
    path_bloutfile = os.path.join(outdir, bloutfile)

    # filter query seq outfile name 
    matchfile = 'match_file'
    path_matchfile = os.path.join(outdir, matchfile)

    # run blastn 
    run_blastn(outdir, path_bloutfile)
    # filter blastn output gain only matching information 
    filter_query(path_bloutfile, path_matchfile)

if __name__=='__main__':
    main()

其中一个函数输入infile是从上一个函数使用subprocess.Popen调用另一个程序生成的。

我对这个问题的猜测是上一个命令已经完成，不知怎的，这个子进程调用无法识别上一个函数的输出文件。我不知道应该搜索什么解决方案。

如果我尝试多次运行脚本，脚本最终会成功运行。

但是，这不行。

我尝试使用os.path.abspath()，但没有运气来解决这个问题。

Answer 1

我愿意打赌这个问题出现在你描述的代码中，但没有向我们展示，它运行了“上一个命令”，生成了grep正在寻找的文件。

如果您通过创建Popen来运行上一个命令，但之后没有wait，它仍然会在后台运行。如果您过快地启动grep，则可能尚未创建该文件。所以你得到了错误。

然后，您需要几秒钟的时间来查找shell中的文件，到那时，已经创建了。所以错误看起来令人费解。

或者，如果您运行该程序几次，最终它会起作用 - 或者因为您对计时感到满意，或者因为新运行找到了上一次运行中遗留的文件。

修复可能只是添加一个缺失的other_command.communicate()，但没有看到其他代码，很难确定。

linux中的Python子进程在文件存在时无法找到文件

1 个答案: