¿Cómo detectar automáticamente la codificación de los archivos de texto?

Prueba el módulo chardet de Python, que está disponible en PyPi:

pip install chardet

Luego ejecute chardetect myfile.txt.

Chardet se basa en el código de detección utilizado por Mozilla, por lo que debería dar resultados razonables, siempre que el texto de entrada sea lo suficientemente largo para el análisis estadístico. Lea la documentación del proyecto .

Como se ha mencionado en los comentarios, es bastante lento, pero algunas distribuciones también incluyen la versión original en C++, como ha encontrado @Xavier en https://superuser.com/a/609056 . También hay una versión Java en alguna parte.

En Linux basado en Debian, el paquete uchardet (Debian ](https://packages.qa.debian.org/u/uchardet.html) / Ubuntu ) proporciona una herramienta de línea de comandos. Vea a continuación la descripción del paquete:

universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Para Linux, existe enca y para Solaris puede utilizar auto_ef .

Mozilla tiene un buen código base para la autodetección en páginas web: http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Descripción detallada del algoritmo: http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Para aquellos que usan regularmente Emacs, podrían encontrar útil lo siguiente (permite inspeccionar y validar manualmente la transfomación).

Además, a menudo encuentro que la autodetección de conjuntos de caracteres de Emacs es mucho más eficiente que otras herramientas de autodetección de conjuntos de caracteres (como chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Entonces, una simple llamada a Emacs con este script como argumento (ver la opción “-l”) hace el trabajo.

isutf8 (del paquete moreutils) hizo el trabajo

Volviendo a chardet (python 2.?) esta llamada podría ser suficiente:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Aunque está lejos de ser perfecta….

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Vale la pena probar UTFCast. A mí no me funcionó (quizá porque mis archivos son terribles) pero tiene buena pinta. http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

También en caso de que el archivo -i le da desconocido

Puede utilizar este comando php que puede adivinar charset como abajo :

En php puede comprobar como abajo :

Especificando la lista de codificación explícitamente :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Más preciso “ mb_list_encodings”:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Aquí, en el primer ejemplo, se puede ver que puse una lista de codificaciones (detectar el orden de la lista) que podrían coincidir. Para tener un resultado más preciso se pueden utilizar todas las codificaciones posibles a través de : mb_list_encodings()

Nota las funciones mb_* requieren php-mbstring

apt-get install php-mbstring

Ver respuesta : https://stackoverflow.com/a/57010566/3382822