使用批处理文件并排合并多个csv文件

时间:2015-03-04 08:55:23

标签: csv batch-file merge

我正在寻找将两个csv文件合并为一个。但是我需要它们合并,以便列并排不继续。 我的文件每次有两列,我会有一个csv文件,通过解压每个文件的第二列并复制到另一个文件,所以我将有一个带x列的文件(第二列)。

e.g。

File1中

A B
1 2
1 2
1 2

文件2

A C
1 3
1 3
1 3

FILEX

A X
1 x
1 x
1 x

结果

B C X
2 3 x
2 3 x
2 3 x

我发现了这个:Merge csv file side by side using batch file

但它仅适用于两个文件而且它不会提取任何内容。

感谢。

3 个答案:

答案 0 :(得分:3)

以下所有解决方案都假设所有输入文件的格式都一致且行数相同。

可以修改Merge csv file side by side using batch file使用的技术来解析和支持2个以上的文件。我还在循环内打开和关闭延迟扩展,以保护可能出现在数据中的任何!。对于包含!的变量,如果在启用延迟扩展时展开它们,则会损坏:

@echo off
setlocal disableDelayedExpansion
3<"test2.txt" 4<"test3.txt" (
  for /f "usebackq tokens=2 delims= " %%A in ("test1.txt") do (
    set "A=%%A"
    set /p "B=" <&3
    set /p "C=" <&4
    setlocal enableDelayedExpansion
    echo !A! !B:* =! !C:* =!
    endlocal
  )
) >"result.txt"

以上内容可以扩展为使用FOR循环加上句柄0和3-9支持最多9个输入文件。如果您有超过8个输入,那么您需要多个循环。第一个循环可以处理前9个文件并将部分结果写入临时文件。连续循环可以从临时文件中读取并合并最多8个附加文件。

如果您的解析规则变得更加复杂,上述内容可能会变得很麻烦。

我的JREPL.BAT hybrid JScript/batch utility可用于有效地解析和合并任意数量的文件,您可以根据需要修改正则表达式来解析几乎任何csv文件格式。

@echo off
setlocal
set "merge=jrepl ".*( .*)" "stdin.ReadLine()+$1" /j /f"
jrepl ".* (.*)" "$1" /f test1.txt | %merge% test2.txt | %merge% test3.txt >result.txt

理论上,你可以使用任意数量的管道来支持你的所有输入文件,但是如果你得到太多,它可能会变得低效。您可以使用临时文件暂存合并以保持效率。

答案 1 :(得分:3)

最初在this post描述的方法可以修改,以便处理可变数量的文件(最多8个),因此您只需要将所需的文件放在参数中:

@echo off
setlocal DisableDelayedExpansion

rem MergeFiles.bat: Merge several files horizontally
rem Antonio Perez Ayala

rem Process files in the arguments and 
rem assemble the lists of redirections and SET /P commands
set file1=%1
set "redirs="
set "commands="
set n=2
:nextFile
   shift
   if "%~1" equ "" goto endFiles
   set /A n+=1
   set "redirs=%redirs% %n%<%1"
   set "commands=%commands% & set /P "part=!part:* =! " <&%n%"
goto nextFile
:endFiles

rem First file is read with FOR /F command
rem The rest of files are read via standard handles, starting at # 3

%redirs% (
   for /F "usebackq delims=" %%a in (%file1%) do (
      rem Get first part from first file
      set "part=%%a"
      rem Output parts from all files, excepting the last one
      setlocal EnableDelayedExpansion
      %commands:~3%
      rem Output part from last file
      echo !part:* =!
      endlocal
   )
) > result.txt

例如:

C:\> type file?.txt

file1.txt

A B
1 2
1 2
1 2

file2.txt

A C
1 3
1 3
1 3

fileX.txt

A X
1 x
1 x
1 x

fileY.txt

A Y
1 y
1 y
1 y

C:\> MergeFiles.bat file1.txt file2.txt fileX.txt fileY.txt

C:\> type result.txt
B C X Y
2 3 x y
2 3 x y
2 3 x y

答案 2 :(得分:2)

@ECHO OFF
SETLOCAL enabledelayedexpansion
:: remove variables starting $
FOR  /F "delims==" %%a In ('set $ 2^>Nul') DO SET "%%a="
SET /a $count=0
FOR %%a IN (q28850167*.txt) DO (
 FOR  /f "tokens=1,2*delims=: " %%b IN ('findstr /n /r "^" "%%a"') DO (
  SET $%%b=!$%%b! %%d
  IF !$count! LSS %%b SET /a $count=%%b
 )
)
(
FOR /L %%a IN (1,1,%$count%) DO ECHO(!$%%a:~1!
)>newfile.txt


GOTO :EOF

我使用名为q28850167*.txt的文件包含您的测试数据 生成newfile.txt

清除所有以$

开头的变量

对于与掩码匹配的每个文件,通过findstr/n处理每一行以将number :应用于每行的开头。选择第一个和第三个+列,使用: Space 作为分隔符,并附加到变量$linenumber跟踪$count中的最高行号。

然后只需从存储的数据中重现每一行。