Compresores extremos

Foro dedicado a la emulación de sistemas clásicos en el PC o en otros sistemas.
Avatar de Usuario
Namek
Atari 1040 STf
Atari 1040 STf
Mensajes: 838
Registrado: 11 Jul 2011, 13:13
Gracias dadas: 18 veces
Gracias recibidas: 63 veces

Compresores extremos

Mensajepor Namek » 06 Mar 2018, 13:47

Tras renderizar la animación de 800 frames en 720p con el WinUAE queria preservar las imagenes generadas en TGA en crudo, asi que las comprimi en ZIP dejando los mas de 2GB de imagenes en 375MB, me olvide del tema pero hoy me ha dado por ver si podia comprimir aun mas el archivo y he probado con varios formatos entre ellos el Amiguero LZX, los resultados han sido bastante sorprendentes en todos los sentidos.

Fuente 800 imagenes en TGA sin compresion a 1280x720 24bits = 2.64MB x 800 = 2112 MB

Compresor: Tamaño:
ZIP 393.585.435 bytes
RAR 390.060.012 bytes
LZX 363.891.124 bytes
7ZIP 225.402.012 bytes

Resulta impresionante que a día de hoy todavia un software de Amiga sea mas eficiente comprimimendo que 2 de los formatos de compresion mas usados, pero resulta aun mas impresionante que 7Zip no sea el mas usado actualmente teniendo en cuenta los resultados.

Alguien conoce algun compresor mejor que 7zip?

Saludos.

BlackHole
Amiga 1200
Amiga 1200
Mensajes: 1442
Registrado: 07 Nov 2009, 11:38
Sistema Favorito: C64
primer_sistema: Spectrum 16Kb/48Kb
consola_favorita: Nintendo SNES
Primera consola: Nintendo SNES
Ubicación: Madrid
Gracias dadas: 9 veces
Gracias recibidas: 209 veces

Re: Compresores extremos

Mensajepor BlackHole » 06 Mar 2018, 14:39

Sería importante saber si ese compresor LZX que estás usando realiza una compresión buscando patrones en ficheros anteriores del conjunto (al estilo de los RAR denominados sólidos) como para obtener ese ratio que has conseguido, porque el algoritmo LZX no deja de ser un miembro de la familia LZ77 (Lempel-Ziv 1977) y su rendimiento debería ser similar al del ZIP. Tampoco sé si ese RAR es un archivo sólido, por los resultados parece que no.

Por cierto, según Wikipedia, mientras la versión LZX de Amiga tenía una ventana de búsqueda con un tamaño fijo de 64 KB, en los CAB de Microsoft que utilizan el algoritmo LZX, la ventana era dinámica y podía variar entre 32 y 2048 KB, con lo que igualmente se conseguían mejores ratios de compresion. No sé si ese fichero LZX lo has hecho en Amiga o desde un PC, que podría tener algoritmos diferentes.

Ese resultado del fichero 7Z, me sugiere que el método de compresión utilizado es PPMd (Prediction by partial matching) o LZMA (Lempel-Ziv-Markov) así que estaría bien saber cuál es el utilizado, y cuál es el tamaño de la ventana de desplazamiento y el tamaño del diccionario... porque puede ser hasta de 2 GB, con lo cual necesitas mucha memoria (hasta 64 MB) para descomprimir después. Revisa la configuración de 7zip a ver.
Última edición por BlackHole el 06 Mar 2018, 14:56, editado 2 veces en total.

Avatar de Usuario
Namek
Atari 1040 STf
Atari 1040 STf
Mensajes: 838
Registrado: 11 Jul 2011, 13:13
Gracias dadas: 18 veces
Gracias recibidas: 63 veces

Re: Compresores extremos

Mensajepor Namek » 06 Mar 2018, 14:52

El LZX lo generé con el LZX 1.21 de Amiga con el parametro -M9999 que si busca patrones en varios ficheros a la vez, el 7Z se ha generado con el jZip con los parametros al maximo y el RAR y el ZIP con el WinRAR tambien al maximo.

Se que existe el descompresor UnLZX para PC pero LZX compresor para PC existe?

BlackHole
Amiga 1200
Amiga 1200
Mensajes: 1442
Registrado: 07 Nov 2009, 11:38
Sistema Favorito: C64
primer_sistema: Spectrum 16Kb/48Kb
consola_favorita: Nintendo SNES
Primera consola: Nintendo SNES
Ubicación: Madrid
Gracias dadas: 9 veces
Gracias recibidas: 209 veces

Re: Compresores extremos

Mensajepor BlackHole » 06 Mar 2018, 14:58

No conozco dicho programa jZip, lo siento, así que no puedo verificar cuáles son sus valores máximos y cuál es el algoritmo interno.

Por lo poco que he leído, parece ser que el record de compresión actual está en algoritmos de la familia PAQ.
Prueba con PeaZip, que incluye dichos algoritmos entre sus formatos de compresión. http://www.peazip.org/

Urusergi
MSX Turbo R
MSX Turbo R
Mensajes: 405
Registrado: 21 Dic 2011, 10:11
Ubicación: Madrid
Gracias dadas: 650 veces
Gracias recibidas: 23 veces

Re: Compresores extremos

Mensajepor Urusergi » 06 Mar 2018, 15:19

Yo para comprimir al máximo en 7z suelo emplear el Ultra7z:

https://ultra7z.ru/

que es un optimizador "a lo bruto", comprimiendo varias veces cada archivo usando distintos parámetros y quedándose con los mejores. Eso si, hay que armarse de paciencia :popcorn:

BlackHole
Amiga 1200
Amiga 1200
Mensajes: 1442
Registrado: 07 Nov 2009, 11:38
Sistema Favorito: C64
primer_sistema: Spectrum 16Kb/48Kb
consola_favorita: Nintendo SNES
Primera consola: Nintendo SNES
Ubicación: Madrid
Gracias dadas: 9 veces
Gracias recibidas: 209 veces

Re: Compresores extremos

Mensajepor BlackHole » 06 Mar 2018, 15:44

Acabo de ver que el 7-zip está en la versión 18.03 beta con significativos cambios en la compresión LZMA2 y otros algoritmos que el 7-zip 9.20 que tenía yo en mi equipo desde 2011, no soporta siquiera. No está de más actualizar y revisar el historial de versiones.

Avatar de Usuario
Namek
Atari 1040 STf
Atari 1040 STf
Mensajes: 838
Registrado: 11 Jul 2011, 13:13
Gracias dadas: 18 veces
Gracias recibidas: 63 veces

Re: Compresores extremos

Mensajepor Namek » 07 Mar 2018, 08:29

BlackHole escribió:Por lo poco que he leído, parece ser que el record de compresión actual está en algoritmos de la familia PAQ.
Prueba con PeaZip, que incluye dichos algoritmos entre sus formatos de compresión. http://www.peazip.org/

He realizado pruebas con PeaZIP en diferentes formatos con compresión máxima y estos son los resultados con los mismos 800 archivos TGA:

Formato:...........Tamaño:
TAR.XZ..............312.282.292 bytes
ARC...................298.002.164 bytes
7Z.....................247.964.857 bytes
TAR.7Z..............227.942.029 bytes

Y lo mas curioso del mundo, he comprimido los archivos en TAR con jZIP en 7Z y me ha dado 242.753.786 bytes. Jamas pense que comprimir un TAR podria ser menos efectivo que los archivos sueltos... :shock:

CORRECCION: Parece ser que jZip tiene un BUG y es que aunque en nivel de compresion este marcado ULTRA, realmente no lo esta y hay que cambiarlo a cualquier otro y luego volver a ULTRA para que realmente comprima en ULTRA, haciendolo asi me ha dejado el TAR en 225.181.442 bytes poco mas de 200K menos que sin usar TAR... IM-PREZIONANTE!!! :shock: :shock: :shock:

Ahora a ver si pruebo Ultra7z.

Saludos.

BlackHole
Amiga 1200
Amiga 1200
Mensajes: 1442
Registrado: 07 Nov 2009, 11:38
Sistema Favorito: C64
primer_sistema: Spectrum 16Kb/48Kb
consola_favorita: Nintendo SNES
Primera consola: Nintendo SNES
Ubicación: Madrid
Gracias dadas: 9 veces
Gracias recibidas: 209 veces

Re: Compresores extremos

Mensajepor BlackHole » 07 Mar 2018, 14:51

Acabo de hacer una prueba con un fotograma a 1280x720 del capítulo de anoche de Cuerpo de Elite, grabado como TGA, y he obtenido un espectacular resultado con el formato de compresión RAR4 en WinRar 5.50. No sé si es que este programa realiza una optimización especial para las imágenes, y si ese resultado podría ser extrapolable a tu animación en Targa... pero quizás merecería la pena que probases.

Imagen

2.764.844 snapshot.tga (Original)
1.663.967 snapshot.zpaq
1.519.574 snapshot.zip (WinRar)
1.417.687 snapshot.zip (PeaZip)
1.324.184 snapshot.rar
1.194.156 snapshot.bz2
1.172.982 snapshot.7z (7Zip PPMd)
1.159.612 snapshot.xz (7Zip)
1.138.542 snapshot.zip (7Zip LZMA - no compatible con descompresores que solo trabajan con Deflate)
1.138.500 snapshot.7z (7zip LZMA)
1.138.426 snapshot.7z (7Zip LZMA2)
1.138.352 snapshot.xz (PeaZip)
787.039 snapshot.rar (RAR4 WinRar 5.50) !!!!!!

Urusergi
MSX Turbo R
MSX Turbo R
Mensajes: 405
Registrado: 21 Dic 2011, 10:11
Ubicación: Madrid
Gracias dadas: 650 veces
Gracias recibidas: 23 veces

Re: Compresores extremos

Mensajepor Urusergi » 07 Mar 2018, 15:10

Please, podrías subir ese archivo rar4 para que le echemos un vistazo? es increible :shock:

BlackHole
Amiga 1200
Amiga 1200
Mensajes: 1442
Registrado: 07 Nov 2009, 11:38
Sistema Favorito: C64
primer_sistema: Spectrum 16Kb/48Kb
consola_favorita: Nintendo SNES
Primera consola: Nintendo SNES
Ubicación: Madrid
Gracias dadas: 9 veces
Gracias recibidas: 209 veces

Re: Compresores extremos

Mensajepor BlackHole » 07 Mar 2018, 22:59

Pues la verdad es que borré todos los ficheros de prueba, y claro, como escogí el fotograma al azar, difícil sería coincidir de nuevo.
Sin embargo he ido al último capítulo de Big Bang, he cogido otro fotograma, y los resultados son similares:

2.764.844 TBBT S11E15.tga
756.327 TBBT_S11E15.rar
https://ufile.io/fesuv

Imagen


Volver a “Emuladores”

¿Quién está conectado?

Usuarios navegando por este Foro: No hay usuarios registrados visitando el Foro y 5 invitados