Question

我想执行一个字符串，好像它是Mininet的host.popen()模块中的shell脚本，它本质上是Python subprocess.Popen()的包装器。脚本如下：

#!/bin/bash

T="$(date +%s%N)" 
nc 10.0.0.7 1234 < somefile.txt
T="$(($(date +%s%N)-T))" 
echo $T

如果我将其保存为文件并将其传递给popen()，则输出符合预期（打印nc命令的持续时间）：

dst_cmd = 'nc -l 1234 > /dev/null'
dst.popen( dst_cmd, shell=True )

p = src.popen( ['sh', './timer.sh'], stdout=subprocess.PIPE )

问题是，每次运行此脚本时，发送的文件somefile.txt都不同，并且每秒运行几次几分钟。我不想为每个文件编写新的.sh脚本。当我尝试将脚本作为字符串传递给popen()时，就像这样，

dst_cmd = 'nc -l 1234 > /dev/null'
dst.popen( dst_cmd, shell=True )

src_cmd = '''\
    #!/bin/bash

    T=\"$(date +%s%N)\" 
    nc 10.0.0.7 1234 < somefile.txt
    T=\"$(($(date +%s%N)-T))\" 
    echo $T'''

p = src.popen( dedent(src_cmd), shell=True, 
                stdout=subprocess.PIPE )

输出

Execution utility for Mininet

Usage: mnexec [-cdnp] [-a pid] [-g group] [-r rtprio] cmd args...
...

为什么？我是否遗漏了导致不同（意外）输出的格式？

Answer 1

最好避免完全使用shell。您可以通过以下方式完成您想要的任务：

from subprocess import Popen, DEVNULL
from time import time

start = time()
with open("somefile.txt", "rb") as f:
    p = Popen(["nc", "10.0.0.7", "1234"], stdin=f, stdout=DEVNULL)
end = time()

duration = end - start

如果您担心子流程的产生时间很重要，请尝试：

from subprocess import Popen, DEVNULL, PIPE
from time import time
from os import devnull


with open("somefile.txt", "rb") as f:
    data = f.read()

p = Popen(["nc", "10.0.0.7", "1234"], stdin=PIPE, stdout=DEVNULL)
start = time()
p.communicate(data)
end = time()

duration = end - start

print(duration)

Answer 2

要将bash脚本作为字符串传递，请指定executable参数：

#!/usr/bin/env python
import subprocess

bash_string = r'''#!/bin/bash
T="$(date +%s%N)" 
nc 10.0.0.7 1234 < somefile.txt
T="$(($(date +%s%N)-T))" 
echo $T
'''
output = subprocess.check_output(bash_string, shell=True, executable='/bin/bash')

虽然在这种情况下你既不需要shell也不需要任何其他外部进程。您可以使用socket模块在纯Python中重新实现shell脚本：

#!/usr/bin/env python3
import socket
import sys
from shutil import copyfileobj
from timeit import default_timer as timer

start = timer()
with socket.create_connection(('10.0.0.7', 1234)) as s, \
     open('somefile.txt', 'rb') as input_file:
    s.sendfile(input_file) # send file
    with s.makefile() as f: # read response
        copyfileobj(f, sys.stdout)
print("It took %.2f seconds" % (timer() - start,))

Answer 3

假设mininet popen接口与Subprocess.popen相同，你写的是错误的。您必须传递一个命令，可以是：

可执行文件及其参数
或shell命令，前提是您使用shell=True - 这是您可以在shell提示符下键入的内容

但它不能是shell脚本的内容

当然，如果脚本可以看作是一个多行命令，并且如果你的shell支持多行命令，那么将执行各个命令。因此，如果默认shell已经是bash，它可以工作，但是如果默认shell是/bin/ash，那么所有命令都将由该默认shell执行，因为行#!/bin/sh将被视为仅仅是评论并被忽略。

示例：

foo.py:

#! /usr/local/bin/python

a = 5
for i in range(10): print i

执行文件是正确的

$ sh -c ./foo.py
0
1
2
3
4

但是执行文件内容会导致错误，因为shebang（#!）被视为mete comment：

$ sh -c '#! /usr/local/bin/python

a = 10
for i in range(10): print i
'
a: not found
Syntax error: "(" unexpected

Answer 4

我认为你想要的是将文件名传递给右边的脚本，这样可以解决问题吗？

p = src.popen( ['sh', './timer.sh', 'filename.txt'], stdout=subprocess.PIPE )

并在脚本中执行

FILENAME="$1"
....
nc 10.0.0.7 1234 < "$FILENAME"

这应该可以解决问题。或者我可能完全误解了这个问题。

==

编辑：

作为替代方案（以及对实际问题的更接近答案），您可以这样做：

cmd = """echo $(date) HELLO $(date)"""
p = subprocess.Popen(["sh", "-c", cmd])

sh -c告诉shell以字面值执行下一个命令。请注意，您不需要shell=True，因为您不需要解析代码

编辑2：

你得到的回答速度太快了。您可以确实只是通过这种方式将完整的shell脚本传递给shell。只是不做任何逃避（并可能摆脱shebang）：

cmd = """echo $(date) HELLO $(date);
   sleep 1;
   echo $(date)
"""
subprocess.Popen(cmd, shell=True)

传递一个＆＃34; shell脚本＆＃34;作为Python subprocess.Popen的字符串

4 个答案: