在BASH中按字节读取文件

时间：2012-12-15 05:36:36

标签： bash

我需要读取我指定的文件的第一个字节，然后是第二个字节，第三个，依此类推。我怎么能在BASH上做到这一点？ P.S我需要得到这个字节的HEX

7 个答案:

答案 0 :(得分：16)

2016年9月的新帖子！

由于这是非常具体的，这个添加将在最底层提出。

升级以添加特定的bash版本（使用bashisms）

内置printf的新版本，你可以做很多事情，而不必分叉（$(...)），这样你的脚本就会快得多。

首先让我们看看（使用seq和sed）如何解析高清输出：

echo ;sed <(seq -f %02g 0 $[COLUMNS-1]) -ne '
    /0$/{s/^\(.*\)0$/\o0337\o033[A\1\o03380/;H;};
    /[1-9]$/{s/^.*\(.\)/\1/;H};
    ${x;s/\n//g;p}';hd < <(echo Hello good world!)
0         1         2         3         4         5         6         7
012345678901234567890123456789012345678901234567890123456789012345678901234567
00000000  48 65 6c 6c 6f 20 67 6f  6f 64 20 77 6f 72 6c 64  |Hello good world|
00000010  21 0a                                             |!.|
00000012

十六进制部分从第10列开始，以第56列结束，间隔3个字符，第34列有一个额外空格。

所以解析这个可以通过以下方式完成：

while read line ;do
    for x in ${line:10:48};do
        printf -v x \\%o 0x$x
        printf $x
      done
  done < <( ls -l --color | hd )

旧原帖

十六进制的

编辑2 ，您可以使用hd 

echo Hello world | hd
00000000  48 65 6c 6c 6f 20 77 6f  72 6c 64 0a              |Hello world.|

或od 

echo Hello world | od -t x1 -t c
0000000  48  65  6c  6c  6f  20  77  6f  72  6c  64  0a
          H   e   l   l   o       w   o   r   l   d  \n

不久

while IFS= read -r -n1 car;do [ "$car" ] && echo -n "$car" || echo ; done

尝试一下：

while IFS= read -rn1 c;do [ "$c" ]&&echo -n "$c"||echo;done < <(ls -l --color)

说明：

while IFS= read -rn1 car  # unset InputFieldSeparator so read every chars
    do [ "$car" ] &&      # Test if there is ``something''?
        echo -n "$car" || # then echo them
        echo              # Else, there is an end-of-line, so print one
  done

修改;编辑问题：需要十六进制值！？

od -An -t x1 | while read line;do for char in $line;do echo $char;done ;done

演示：

od -An -t x1 < <(ls -l --color ) |        # Translate binary to 1 byte hex 
    while read line;do                    # Read line of HEX pairs
        for char in $line;do              # For each pair
            printf "\x$char"              # Print translate HEX to binary
      done
  done

演示2：我们有十六进制和二进制 

od -An -t x1 < <(ls -l --color ) |        # Translate binary to 1 byte hex 
    while read line;do                    # Read line of HEX pairs
        for char in $line;do              # For each pair
            bin="$(printf "\x$char")"     # translate HEX to binary
            dec=$(printf "%d" 0x$char)    # translate to decimal
            [ $dec -lt 32  ] ||           # if caracter not printable
            ( [ $dec -gt 128 ] &&         # change bin to a single dot.
              [ $dec -lt 160 ] ) && bin="."
            str="$str$bin" 
            echo -n $char \               # Print HEX value and a space
            ((i++))                       # count printed values
            if [ $i -gt 15 ] ;then
                i=0
                echo "  -  $str"
                str=""
              fi
      done
  done

2016年9月的新帖子：

这可能对非常具体的情况很有用，（我已经用它们来制作两个磁盘之间的GPT分区，在低级别，没有安装/usr ...）

是的，bash可以读取二进制文件！

...但只有一个字节，一个......（因为`char（0）'无法正确读取，正确读取它们的唯一方法是考虑 end-of-file < / em>，如果没有读取caracter并且没有到达文件末尾，那么字符读取是char（0））。

这更像是一个概念证明，而不是一个非常有用的工具：{strong> 纯 版本的hd（hexdump）。

这会在bash v4.3或更高版本下使用最近的 bashisms 。

#!/bin/bash

printf -v ascii \\%o {32..126}
printf -v ascii "$ascii"

printf -v cntrl %-20sE abtnvfr

values=()
todisplay=
address=0
printf -v fmt8 %8s
fmt8=${fmt8// / %02x}

while LANG=C IFS= read -r -d '' -n 1 char ;do
    if [ "$char" ] ;then
        printf -v char "%q" "$char"
        ((${#char}==1)) && todisplay+=$char || todisplay+=.
        case ${#char} in
         1|2 ) char=${ascii%$char*};values+=($((${#char}+32)));;
           7 ) char=${char#*\'\\};values+=($((8#${char%\'})));;
           5 ) char=${char#*\'\\};char=${cntrl%${char%\'}*};
                values+=($((${#char}+7)));;
           * ) echo >&2 ERROR: $char;;
        esac
      else
        values+=(0)
      fi


    if [ ${#values[@]} -gt 15 ] ;then
        printf "%08x $fmt8 $fmt8  |%s|\n" $address ${values[@]} "$todisplay"
        ((address+=16))
        values=() todisplay=
      fi
  done

if [ "$values" ] ;then
        ((${#values[@]}>8))&&fmt="$fmt8 ${fmt8:0:(${#values[@]}%8)*5}"||
            fmt="${fmt8:0:${#values[@]}*5}"
        printf "%08x $fmt%$((
                50-${#values[@]}*3-(${#values[@]}>8?1:0)
            ))s |%s|\n" $address ${values[@]} ''""'' "$todisplay"
fi
printf "%08x (%d chars read.)\n" $((address+${#values[@]})){,}

您可以尝试/使用此功能，但不要尝试比较性能！

time hd < <(seq 1 10000|gzip)|wc
   1415   25480  111711
real    0m0.020s
user    0m0.008s
sys     0m0.000s

time ./hex.sh < <(seq 1 10000|gzip)|wc
   1415   25452  111669
real    0m2.636s
user    0m2.496s
sys     0m0.048s

同样的工作：hd为20毫秒，bash script为2000毫秒。

...但是如果你想在硬盘中读取文件头中的4个字节甚至扇区地址，这可以完成这项工作......

答案 1 :(得分：5)

你试过xxd吗？它可以直接提供hex dump ..

对于您的情况，命令将是：

xxd -c 1 /path/to/input_file | while read offset hex char; do
  #Do something with $hex
done

注意：从十六进制中提取char，而不是在读取行时提取。这是必需的，因为读取不会正确捕获空白区域。

答案 2 :(得分：4)

使用read可以一次读取单个字符，如下所示：

read -n 1 c
echo $c

[答案]

试试这个：

#!/bin/bash
# data file
INPUT=/path/to/input.txt

# while loop
while IFS= read -r -n1 char
do
        # display one character at a time
    echo  "$char"
done < "$INPUT"

从此link

第二种方法， 使用awk，通过char循环char

awk '{for(i=1;i<=length;i++) print substr($0, i, 1)}' /home/cscape/Desktop/table2.sql

第三种方式，

$ fold -1 /home/cscape/Desktop/table.sql  | awk '{print $0}'

编辑：将每个字符打印为HEX个数字：

假设我有一个文件名file：

$ cat file
123A3445F

我已经通过来自awk的字符写了一个named x.awk脚本（file）来读取char并打印到HEX：

$ cat x.awk
#!/bin/awk -f

BEGIN    { _ord_init() }

function _ord_init(    low, high, i, t)
{
    low = sprintf("%c", 7) # BEL is ascii 7
    if (low == "\a") {    # regular ascii
        low = 0
        high = 127
    } else if (sprintf("%c", 128 + 7) == "\a") {
        # ascii, mark parity
        low = 128
        high = 255
    } else {        # ebcdic(!)
        low = 0
        high = 255
    }

    for (i = low; i <= high; i++) {
        t = sprintf("%c", i)
        _ord_[t] = i
    }
}
function ord(str,    c)
{
    # only first character is of interest
    c = substr(str, 1, 1)
    return _ord_[c]
}

function chr(c)
{
    # force c to be numeric by adding 0
    return sprintf("%c", c + 0)
}

{ x=$0; printf("%s , %x\n",$0, ord(x) )}

要编写此脚本，我使用了awk-documentation
现在，您可以使用此awk脚本进行工作，如下所示：

$ fold -1 /home/cscape/Desktop/file  | awk -f x.awk
1 , 31
2 , 32
3 , 33
A , 41
3 , 33
4 , 34
4 , 34
5 , 35
F , 46

注意：HEX十进制中A值为41。要在脚本%x的最后一行中以十进制更改%d打印到x.awk。

试一试!!

答案 3 :(得分：1)

另一个解决方案，使用head，tail和printf：

for a in $( seq $( cat file.txt | wc -c ) ) ; do cat file.txt | head -c$a | tail -c1 | xargs -0 -I{} printf '%s %0X\n' {} "'{}" ; done

更具可读性：

#!/bin/bash

function usage() {
    echo "Need file with size > 0"
    exit 1
}

test -s "$1" || usage

for a in $( seq $( cat $1 | wc -c ) )
do
    cat $1 | head -c$a | tail -c1 | \
    xargs -0 -I{} printf '%c %#02x\n' {} "'{}"
done

答案 4 :(得分：0)

虽然我宁愿扩展Perleone自己的帖子（因为它是他的基本概念！），但我的编辑毕竟被拒绝了，我很劝我应该发布这个帖子作为一个单独的答案。很公平，所以我会这样做。

对Perleone原始剧本改进的简要考虑：

  • seq在这里完全矫枉过正。使用while作为（同样简单的）计数器变量的简单a循环可以很好地完成工作（并且更快）
  • 最大值，$(cat $1 | wc -c) 必须分配给变量，否则每次都会重新计算，并使此备用脚本的运行速度甚至低于它的派生脚本。< / LI>
  • 没有必要在简单的使用信息行上浪费功能。但是，有必要了解两个命令周围的（强制性）花括号，因为没有{ }，exit 1命令将在任何一种情况下执行，并且脚本解释器永远不会执行循环。 （最后注意：( )也可以，但不一样！括号将生成子shell ，而花括号将在当前中执行命令> shell。）
#!/bin/bash

test -s "$1" || { echo "Need a file with size greater than 0!"; exit 1; }

a=0
max=$(cat $1 | wc -c)
while [[ $((++a)) -lt $max ]]; do
  cat $1 | head -c$a | tail -c1 | \
  xargs -0 -I{} printf '%c %#02x\n' {} "'{}"
done

答案 5 :(得分：-1)

将read与-n选项一起使用。

while read -n 1 ch; do
  echo $ch
done < moemoe.txt

答案 6 :(得分：-1)

我有一个建议，但希望得到每个人的反馈，并希望得到来自syntaxerror用户的个人建议。

我不太了解bash，但我想也许最好有＃1; cat $ 1＆＃34;存储在一个变量..但问题是echo命令还会带来一点小开销吗？

test -s "$1" || (echo "Need a file with size greater than 0!"; exit 1)
a=0
rfile=$(cat $1)
max=$(echo $rfile | wc -c)
while [[ $((++a)) -lt $max ]]; do
  echo $rfile | head -c$a | tail -c1 | \
  xargs -0 -I{} printf '%c %#02x\n' {} "'{}"
done

在我看来它会有更好的表现，但我没有经过测试......

相关问题
最新问题