¿Cómo comparo los archivos binarios en Linux?

Esto imprimirá el offset y los bytes en hexadecimal:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

O hacer $1-1 para que el primer offset impreso empiece en 0.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

Desafortunadamente, strtonum() es específico de GAWK, así que para otras versiones de awk-e.g., mawk-necesitará usar una función de conversión octal a decimal. Por ejemplo,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct, dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Desglosado para la legibilidad:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct, dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Como ~quack señaló:

% xxd b1 > b1.hex
 % xxd b2 > b2.hex

Y luego

% diff b1.hex b2.hex

o

% vimdiff b1.hex b2.hex

diff + xxd

Prueba diff en la siguiente combinación de sustitución de procesos zsh/bash:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Donde:

• -y te muestra las diferencias una al lado de la otra (opcional).
• xxd es la herramienta CLI para crear una salida hexdump del archivo binario.
• Añade -W200 a diff para obtener una salida más amplia (de 200 caracteres por línea).
• Para los colores, usa colordiff como se muestra a continuación.

colordiff + xxd

Si tiene colordiff, puede colorear la salida de diff, por ejemplo:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

De lo contrario, instálelo a través de: sudo apt-get install colordiff.

Ejemplo de salida:

vimdiff + xxd

También puede usar vimdiff, por ejemplo

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

Consejos:

• si los archivos son demasiado grandes, añada un límite (por ejemplo, -l1000) para cada xxd

Hay una herramienta llamada DHEX que puede hacer el trabajo, y hay otra herramienta llamada VBinDiff .

Para un acercamiento estrictamente de línea de comando, intenta jojodiff .

Método que funciona para la adición/eliminación de bytes

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Generar un caso de prueba con una sola eliminación del byte 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if ["$i" -ne 64]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Salida:

64d63
< 40

Si también quieres ver la versión ASCII del personaje:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Salida:

64d63
< 40 @

Probado en Ubuntu 16. 04.

Prefiero od a xxd porque:

• es es POSIX , xxd no es (viene con Vim)
• tiene el -An para eliminar la columna de dirección sin awk.

Explicación del comando:

• -An elimina la columna de dirección. Esto es importante, de lo contrario todas las líneas diferirían después de una adición / eliminación de bytes.
• -w1 pone un byte por línea, de modo que diff puede consumirlo. Es crucial tener un byte por línea, o de lo contrario todas las líneas después de una eliminación se desfasarían y diferirían. Desafortunadamente, esto no es POSIX, pero está presente en GNU.
• -tx1 es la representación que quieres, cambia a cualquier valor posible, siempre y cuando mantengas 1 byte por línea.
• -v evita la abreviatura de repetición de asterisco * que podría interferir con el diff
• paste -d '' - - se une cada dos líneas. Lo necesitamos porque el hexágono y el ASCII van en líneas adyacentes separadas. Tomado de: https://stackoverflow.com/questions/8987257/concatenating-every-other-line-with-the-next
• usamos el paréntesis () para definir bdiff en lugar de {} para limitar el alcance de la función interna f, ver también: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Ver también:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-sizes
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Respuesta corta

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

Cuando se usan hexdumps y text diff para comparar archivos binarios, especialmente xxd, las adiciones y eliminaciones de bytes se convierten en desplazamientos en el direccionamiento que podrían dificultar la visualización. Este método le dice a xxd que no emita direcciones, y que emita sólo un byte por línea, lo que a su vez muestra exactamente qué bytes fueron cambiados, añadidos o eliminados. Puede encontrar las direcciones más tarde buscando las secuencias interesantes de bytes en un hexdump más “normal” (salida de xxd first.bin).

Yo recomendaría el hexdump para descargar los archivos binarios al formato de texto y el kdiff3 para la visualización de diferencias.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

El hexdiff es un programa diseñado para hacer exactamente lo que estás buscando.

Uso:

hexdiff file1 file2

Muestra el hexágono (y el ASCII de 7 bits) de los dos archivos uno encima del otro, con cualquier diferencia resaltada. Mira en man hexdiff los comandos para moverse en el archivo, y un simple q saldrá.

Puede que no responda estrictamente a la pregunta, pero uso esto para diferenciar binarios:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Imprime ambos archivos como valores hexadecimales y ASCII , un byte por línea, y luego usa la función diff de Vim para renderizarlos visualmente.

La herramienta de análisis de firmware binwalk también tiene esto como una característica a través de su -W/--hexdump opción de línea de comandos que ofrece opciones tales como mostrar sólo los diferentes bytes:

-W, --hexdump Perform a hexdump / diff of a file or files
    -G, --green Only show lines containing bytes that are the same among all files
    -i, --red Only show lines containing bytes that are different among all files
    -U, --blue Only show lines containing bytes that are different among some files
    -w, --terse Diff all files, but only display a hex dump of the first file

En el ejemplo de OP al hacer binwalk -W file1.bin file2.bin:

Puedes usar la herramienta gvimdiff que está incluida en el paquete vim-gui-common

sudo apt-get update

sudo apt-get install vim-gui-common

Entonces puedes comparar 2 archivos hexadecimales usando los siguientes comandos :

ubuntu> gvimdiff <hex-file1> <hex-file2>

Eso es todo. Espero que eso ayude!

dhex http://www.dettus.net/dhex/

DHEX es más que otro editor hexadecimal: Incluye un modo de diferenciación, que puede ser usado para comparar fácil y convenientemente dos archivos binarios. Como está basado en ncurses y es temático, puede funcionar en cualquier número de sistemas y escenarios. Gracias a la utilización de registros de búsqueda, es posible seguir fácilmente los cambios en las diferentes iteraciones de los archivos.

El producto de código abierto en Linux (y todo lo demás) es Radare que provee radiff2 explícitamente para este propósito. Voté para cerrar esto porque yo mismo y otros tienen la misma pregunta, en la pregunta que haces

_ para cada byte diferente_

Eso es una locura, sin embargo. Porque como se pregunta, si insertas un byte en el primer byte del archivo, encontrarías que cada byte subsiguiente es diferente y por lo tanto la diferencia repetiría todo el archivo, para una diferencia real de un byte.

Un poco más práctico es radiff -O. El -O es para “Hacer la diferencia de código con todos los bytes en lugar de sólo los bytes de código de operación fijo”

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Al igual que IDA Pro, Radare es una herramienta primaria para el análisis binario, también puede mostrar la diferencia delta con -d, o mostrar los bytes desmontados en lugar de hexadecimal con -D.

Sin embargo, si estás haciendo este tipo de preguntas, comprueba

• Stack Overflow para las preguntas de software,
• Reverse Engineering Stack Exchange
• Radare’s radiff2 for binary diffing

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

BinDiff es una gran herramienta de interfaz para comparar archivos binarios que ha sido abierta recientemente.