为什么延迟扩展在管道代码块内部失败?

时间:2011-11-19 06:19:33

标签: batch-file pipe

这是一个简单的批处理文件,它演示了如果延迟扩展在正在通过管道传输的块中,它将如何失败。 (失败是在脚本结束时)有人可以解释为什么会这样吗?

我有一个解决方法,但它需要创建一个临时文件。我最初在处理Find files and sort by size in a Windows batch file

时遇到了这个问题
@echo off
setlocal enableDelayedExpansion

set test1=x
set test2=y
set test3=z

echo(

echo NORMAL EXPANSION TEST
echo Unsorted works
(
  echo %test3%
  echo %test1%
  echo %test2%
)
echo(
echo Sorted works
(
  echo %test3%
  echo %test1%
  echo %test2%
) | sort

echo(
echo ---------
echo(

echo DELAYED EXPANSION TEST
echo Unsorted works
(
  echo !test3!
  echo !test1!
  echo !test2!
)
echo(
echo Sorted fails
(
  echo !test3!
  echo !test1!
  echo !test2!
) | sort
echo(
echo Sort workaround
(
  echo !test3!
  echo !test1!
  echo !test2!
)>temp.txt
sort temp.txt
del temp.txt

以下是结果

NORMAL EXPANSION TEST
Unsorted works
z
x
y

Sorted works
x
y
z

---------

DELAYED EXPANSION TEST
Unsorted works
z
x
y

Sorted fails
!test1!
!test2!
!test3!

Sort workaround
x
y
z

3 个答案:

答案 0 :(得分:36)

正如Aacini所说,似乎许多事情都在管道中失败了。

echo hello | set /p var=
echo here | call :function

但实际上,了解管道是如何工作的只是一个问题。

管道的每一侧都在自己的ascynchronous线程中启动自己的cmd.exe 这就是为什么这么多事情似乎被打破的原因。

但凭借这些知识,你可以避免这种情况并创造新的效果

echo one | ( set /p varX= & set varX )
set var1=var2
set var2=content of two
echo one | ( echo %%%var1%%% )
echo three | echo MYCMDLINE %%cmdcmdline%%
echo four  | (cmd /v:on /c  echo 4: !var2!)

编辑:深入分析

正如dbenham所示,管道的两侧相当于扩张阶段 主要规则似乎是:

正常的批处理解析器阶段完成了 ..百分比扩张
..特殊字符阶段/块开始检测
..延迟扩展(但只有在启用了延迟扩展并且它不是命令块时)

使用C:\Windows\system32\cmd.exe /S /D /c"<BATCH COMMAND>"启动cmd.exe 这些扩展遵循cmd-line解析器的规则而不是批处理行解析器。

..百分比扩张
..延迟扩展(但仅在启用延迟扩展时)

如果<BATCH COMMAND>位于括号内,则会修改( echo one %%cmdcmdline%% echo two ) | more

C:\Windows\system32\cmd.exe  /S /D /c" ( echo one %cmdcmdline% & echo two )"

被称为&,所有换行符都更改为( set var=one echo !var! set var=two ) | more 运算符。

为什么延迟扩展阶段受括号影响?
我想,它不能在批处理解析器阶段扩展,因为一个块可以包含许多命令,并且延迟扩展在执行一行时生效。

!var!

显然,无法在批处理上下文中评估echo !var! | more ,因为这些行仅在cmd-line上下文中执行。

但是为什么在这种情况下可以在批处理上下文中评估它?

&

在我的观点中,这是一个“错误”或不一致的行为,但它不是第一个

编辑:添加LF技巧

正如dbenham所示,通过将所有换行符更改为( echo 7: part1 rem This kills the entire block because the closing ) is remarked! echo part2 ) | more 的cmd行为似乎存在一些限制。

C:\Windows\system32\cmd.exe  /S /D /c" ( echo 7: part1 & rem This ...& echo part2 ) "

这导致了 rem
set LF=^ REM The two empty lines above are required ( echo 8: part1 rem This works as it splits the commands %%LF%% echo part2 ) | more 将注释完整的行尾,因此即使是结束括号也不见了。

但你可以通过嵌入自己的换行来解决这个问题!

C:\Windows\system32\cmd.exe  /S /D /c" ( echo 8: part1 %cmdcmdline% & rem This works as it splits the commands %LF% echo part2  )"

结果为( echo 8: part1 & rem This works as it splits the commands echo part2 )

当解析器解析parenthises时,%lf%被展开,结果代码看起来像

%LF%

<linefeed>行为始终在括号内,也在批处理文件中 但不是“正常”行,只有一个@echo off ( ( for /L %%a in ( 1,1,60 ) DO ( echo A long text can lock this thread echo Thread1 ##### %%a > con ) ) echo Thread1 ##### end > con ) | ( for /L %%n in ( 1,1,6) DO @( ping -n 2 localhost > nul echo Thread2 ..... %%n set /p x= ) ) 将停止解析此行。

编辑:异步并非完整的事实

我说两个线程都是异步的,通常这是真的 但实际上,当正确的线程没有使用管道数据时,左线程可以自行锁定 “管道”缓冲区中似乎有〜1000个字符的限制,然后线程被阻塞,直到数据被消耗。

{{1}}

答案 1 :(得分:10)

我不确定是否应该编辑我的问题,或将其作为答案发布。

我已经模糊地知道管道在其自己的CMD.EXE“会话”中分别执行左侧和右侧。但是Aacini和jeb的回应迫使我真正考虑和调查管道发生了什么。 (谢谢你用jeb来展示管道进入SET / P时发生了什么!)

我开发了这个调查脚本 - 它有助于解释很多,但也展示了一些奇怪和意想不到的行为。我将发布脚本,然后是输出。最后,我将提供一些分析。

@echo off
cls
setlocal disableDelayedExpansion
set var1=value1
set "var2="
setlocal enableDelayedExpansion

echo on
@echo NO PIPE - delayed expansion is ON
echo 1: %var1%, %var2%, !var1!, !var2!
(echo 2: %var1%, %var2%, !var1!, !var2!)

@echo(
@echo PIPE LEFT SIDE - Delayed expansion is ON
echo 1L: %%var1%%, %%var2%%, !var1!, !var2! | more
(echo 2L: %%var1%%, %%var2%%, !var1!, !var2!) | more
(setlocal enableDelayedExpansion & echo 3L: %%var1%%, %%var2%%, !var1!, !var2!) | more
(cmd /v:on /c echo 4L: %%var1%%, %%var2%%, !var1!, !var2!) | more
cmd /v:on /c echo 5L: %%var1%%, %%var2%%, !var1!, !var2! | more
@endlocal
@echo(
@echo Delayed expansion is now OFF
(cmd /v:on /c echo 6L: %%var1%%, %%var2%%, !var1!, !var2!) | more
cmd /v:on /c echo 7L: %%var1%%, %%var2%%, !var1!, !var2! | more

@setlocal enableDelayedExpansion
@echo(
@echo PIPE RIGHT SIDE - delayed expansion is ON
echo junk | echo 1R: %%var1%%, %%var2%%, !var1!, !var2!
echo junk | (echo 2R: %%var1%%, %%var2%%, !var1!, !var2!)
echo junk | (setlocal enableDelayedExpansion & echo 3R: %%var1%%, %%var2%%, !var1!, !var2!)
echo junk | (cmd /v:on /c echo 4R: %%var1%%, %%var2%%, !var1!, !var2!)
echo junk | cmd /v:on /c echo 5R: %%var1%%, %%var2%%, !var1!, !var2!
@endlocal
@echo(
@echo Delayed expansion is now OFF
echo junk | (cmd /v:on /c echo 6R: %%var1%%, %%var2%%, !var1!, !var2!)
echo junk | cmd /v:on /c echo 7R: %%var1%%, %%var2%%, !var1!, !var2!


这是输出

NO PIPE - delayed expansion is ON

C:\test>echo 1: value1, , !var1!, !var2!
1: value1, , value1,

C:\test>(echo 2: value1, , !var1!, !var2! )
2: value1, , value1,

PIPE LEFT SIDE - Delayed expansion is ON

C:\test>echo 1L: %var1%, %var2%, !var1!, !var2!   | more
1L: value1, %var2%, value1,


C:\test>(echo 2L: %var1%, %var2%, !var1!, !var2! )  | more
2L: value1, %var2%, !var1!, !var2!


C:\test>(setlocal enableDelayedExpansion   & echo 3L: %var1%, %var2%, !var1!, !var2! )  | more
3L: value1, %var2%, !var1!, !var2!


C:\test>(cmd /v:on /c echo 4L: %var1%, %var2%, !var1!, !var2! )  | more
4L: value1, %var2%, value1, !var2!


C:\test>cmd /v:on /c echo 5L: %var1%, %var2%, !var1!, !var2!   | more
5L: value1, %var2%, value1,


Delayed expansion is now OFF

C:\test>(cmd /v:on /c echo 6L: %var1%, %var2%, !var1!, !var2! )  | more
6L: value1, %var2%, value1, !var2!


C:\test>cmd /v:on /c echo 7L: %var1%, %var2%, !var1!, !var2!   | more
7L: value1, %var2%, value1, !var2!


PIPE RIGHT SIDE - delayed expansion is ON

C:\test>echo junk   | echo 1R: %var1%, %var2%, !var1!, !var2!
1R: value1, %var2%, value1,

C:\test>echo junk   | (echo 2R: %var1%, %var2%, !var1!, !var2! )
2R: value1, %var2%, !var1!, !var2!

C:\test>echo junk   | (setlocal enableDelayedExpansion   & echo 3R: %var1%, %var2%, !var1!, !var2! )
3R: value1, %var2%, !var1!, !var2!

C:\test>echo junk   | (cmd /v:on /c echo 4R: %var1%, %var2%, !var1!, !var2! )
4R: value1, %var2%, value1, !var2!

C:\test>echo junk   | cmd /v:on /c echo 5R: %var1%, %var2%, !var1!, !var2!
5R: value1, %var2%, value1,

Delayed expansion is now OFF

C:\test>echo junk   | (cmd /v:on /c echo 6R: %var1%, %var2%, !var1!, !var2! )
6R: value1, %var2%, value1, !var2!

C:\test>echo junk   | cmd /v:on /c echo 7R: %var1%, %var2%, !var1!, !var2!
7R: value1, %var2%, value1, !var2!

我测试了管道的左侧和右侧,以证明两侧的处理是对称的。

测试1和2表明,在正常批次情况下,括号对延迟扩展没有任何影响。

测试1L,1R:延迟扩展按预期工作。 Var2未定义,因此%var2%和!var2!输出表明命令在命令行上下文中执行,而不是批处理上下文。换句话说,使用命令行解析规则而不是批量解析。 (见How does the Windows Command Interpreter (CMD.EXE) parse scripts?编辑 - !VAR2!在父批处理上下文中扩展

测试2L,2R:括号禁用延迟扩展!在我看来非常奇怪和意外。 编辑 - 杰布认为这是一个MS错误或设计缺陷。我同意,行为不一致似乎没有任何合理的理由

测试3L,3R: setlocal EnableDelayedExpansion不起作用。但这是预料之中的,因为我们处于命令行环境中。 setlocal仅适用于批处理环境。

测试4L,4R:最初启用延迟扩展,但括号会禁用它。 CMD /V:ON重新启用延迟扩展,一切都按预期工作。我们仍然有命令行上下文和输出符合预期。

测试5L,5R:与执行CMD /V:on时已启用延迟扩展的4L,4R几乎相同。 %var2%提供预期的命令行上下文输出。但是!var2!输出为空白,这在批处理上下文中是预期的。这是另一种非常奇怪和意外的行为。 编辑 - 实际上,这才有意义,因为我知道!var2!在父批处理上下文中扩展

测试6L,6R,7L,7R:这些类似于测试4L / R,5L / R,但现在延迟启动延迟开始禁用。这次所有4个场景都给出了预期的!var2!批处理上下文输出。

如果有人可以为2L,2R和5L,5R的结果提供合理的解释,那么我将选择它作为我原始问题的答案。否则我可能接受这个帖子作为答案(更多的是观察发生的事情而不是答案)编辑 - jab钉它!


附录:回应jeb的评论 - 这里有更多证据表明批处理中的管道命令在命令行上下文中执行,而不是批处理上下文。

此批处理脚本:

@echo on
call echo batch context %%%%
call echo cmd line context %%%% | more

给出了这个输出:

C:\test>call echo batch context %%
batch context %

C:\test>call echo cmd line context %%   | more
cmd line context %%



最终附录

我添加了一些额外的测试和结果,证明了迄今为止的所有发现。我还演示了在管道处理之前进行FOR变量扩展。最后,当多线块折叠成一条线时,我展示了管道处理的一些有趣的副作用。

@echo off
cls
setlocal disableDelayedExpansion
set var1=value1
set "var2="
setlocal enableDelayedExpansion

echo on
@echo(
@echo Delayed expansion is ON
echo 1: %%, %%var1%%, %%var2%%, !var1!, ^^^!var1^^^!, !var2!, ^^^!var2^^^!, %%cmdcmdline%% | more
(echo 2: %%, %%var1%%, %%var2%%, !var1!, ^^^!var1^^^! !var2!, %%cmdcmdline%%) | more
for %%a in (Z) do (echo 3: %%a %%, %%var1%%, %%var2%%, !var1!, ^^^!var1^^^! !var2!, %%cmdcmdline%%) | more
(
  echo 4: part1
  set "var2=var2Value
  set var2
  echo "
  set var2
)
(
  echo 5: part1
  set "var2=var2Value
  set var2
  echo "
  set var2
  echo --- begin cmdcmdline ---
  echo %%cmdcmdline%%
  echo --- end cmdcmdline ---
) | more
(
  echo 6: part1
  rem Only this line remarked
  echo part2
)
(
  echo 7: part1
  rem This kills the entire block because the closing ) is remarked!
  echo part2
) | more

这是输出

Delayed expansion is ON

C:\test>echo 1: %, %var1%, %var2%, !var1!, ^!var1^!, !var2!, ^!var2^!, %cmdcmdline%   | more
1: %, value1, %var2%, value1, !var1!, , !var2!, C:\Windows\system32\cmd.exe  /S /D /c" echo 1: %, %var1%, %var2%, value1, !var1!, , !var2!, %cmdcmdline% "


C:\test>(echo 2: %, %var1%, %var2%, !var1!, ^!var1^! !var2!, %cmdcmdline% )  | more
2: %, value1, %var2%, !var1!, !var1! !var2!, C:\Windows\system32\cmd.exe  /S /D /c" ( echo 2: %, %var1%, %var2%, !var1!, ^!var1^! !var2!, %cmdcmdline% )"


C:\test>for %a in (Z) do (echo 3: %a %, %var1%, %var2%, !var1!, ^!var1^! !var2!, %cmdcmdline% )  | more

C:\test>(echo 3: Z %, %var1%, %var2%, !var1!, ^!var1^! !var2!, %cmdcmdline% )  | more
3: Z %, value1, %var2%, !var1!, !var1! !var2!, C:\Windows\system32\cmd.exe  /S /D /c" ( echo 3: Z %, %var1%, %var2%, !var1!, ^!var1^! !var2!, %cmdcmdline% )"

C:\test>(
echo 4: part1
 set "var2=var2Value
 set var2
 echo "
 set var2
)
4: part1
var2=var2Value
"
var2=var2Value

C:\test>(
echo 5: part1
 set "var2=var2Value
 set var2
 echo "
 set var2
 echo --- begin cmdcmdline ---
 echo %cmdcmdline%
 echo --- end cmdcmdline ---
)  | more
5: part1
var2=var2Value & set var2 & echo
--- begin cmdcmdline ---
C:\Windows\system32\cmd.exe  /S /D /c" ( echo 5: part1 & set "var2=var2Value
var2=var2Value & set var2 & echo
" & set var2 & echo --- begin cmdcmdline --- & echo %cmdcmdline% & echo --- end cmdcmdline --- )"
--- end cmdcmdline ---


C:\test>(
echo 6: part1
 rem Only this line remarked
 echo part2
)
6: part1
part2

C:\test>(echo %cmdcmdline%   & (
echo 7: part1
 rem This kills the entire block because the closing ) is remarked!
 echo part2
) )  | more

测试1:和2:总结所有行为,而%% cmdcmdline %%技巧确实有助于演示正在发生的事情。

测试3:证明FOR变量扩展仍然适用于管道块。

测试4:/ 5:和6:/ 7:显示管道使用多行块的方式的有趣副作用。谨防!

我必须相信在复杂的管道场景中找出逃逸序列将是一场噩梦。

答案 2 :(得分:8)

有趣的是!我不知道答案,我所知道的是,管道操作在Windows批处理中一致失败,原始MS-DOS批处理中不应该存在(如果这些功能可以在旧的MS-DOS批处理中执行),所以我怀疑在开发新的Windows Batch功能时引入了错误。

以下是一些例子:

echo Value to be assigned | set /p var=

上一行不会将值赋给变量,因此我们必须以这种方式修复它:

echo Value to be assigned > temp.txt & set /p var=< temp.txt

另一个:

(
echo Value one
echo Value two
echo Value three
) | call :BatchSubroutine

不起作用。以这种方式修复:

(
echo Value one
echo Value two
echo Value three
) > temp.txt
call :BatchSubroutine < temp.txt

然而,这种方法在某些情况下起作用;以DEBUG.COM为例:

echo set tab=9> def_tab.bat
(
echo e108
echo 9
echo w
echo q
) | debug def_tab.bat
call def_tab
echo ONE%tab%TWO

以前的节目节目:

ONE     TWO

在哪些情况下有效,哪些无效?只有上帝(和微软)可能知道,但似乎与新的Windows Batch功能有关:SET / P命令,延迟扩展,括号中的代码块等。

编辑:异步批处理文件

注意:我修改了此部分以更正我的错误。有关详细信息,请参阅我对jeb的最后评论。

正如jeb所说,管道两端的执行创建了两个异步进程,即使没有使用START命令也可以执行异步线程。

Mainfile.bat:

@echo off
echo Main start. Enter lines, type end to exit
First | Second
echo Main end

First.bat:

@echo off
echo First start

:loop
    set /P first=
    echo First read: %first%
if /I not "%first%" == "end" goto loop
echo EOF

echo First end

Second.bat:

@echo off
echo Second start

:loop
    set /P second=Enter line: 
    echo Second read: %second%
    echo/
if not "%second%" == "EOF" goto loop

echo Second end

我们可以使用此功能开发一个等同于Expect application的程序(以pexpect Phyton module的类似方式工作),可以通过这种方式控制任何交互式程序:

Input | anyprogram | Output

Output.bat文件将通过分析程序的输出来实现“Expect”部分,并且Input.bat将通过向程序提供输入来实现“Sendline”部分。从输出到输入模块的向后通信将通过具有所需信息的文件和通过存在/不存在一个或两个标志文件来控制的简单信号量系统来实现。