He terminado, o al menos he hecho lo suficiente para que mi proyecto pueda verse como a punto de lanzarse, y no como estancado bajo el pretexto de mejoras vagas e incomprensibles.
No es costumbre contar desde el final, pero aquí no funcionará de otra manera. Durante los últimos nueve meses, he estado trabajando en una remasterización de Deep Space 9, desde que el software de resolución de video asistido por IA comenzó a llegar al mercado. Después de ver qué calidad se puede extraer de los archivos MKV antiguos, decidí comenzar desde el principio utilizando la fuente original y de mayor calidad: DVD. Nueve meses después, logré mi objetivo de crear un método de mejora y remasterización de espacio profundo 9 que no se basara en peinar manualmente las escenas y ajustar los algoritmos de desentrelazado en un intento de minimizar los compromisos en la calidad de la imagen. Y en este artículo demostraré los resultados de este trabajo.
Creé una versión progresiva de Deep Space 9 a una velocidad de fotogramas de 23,976 usando un modelo con nombre en código Rio Grande. Aún no he probado este método en toda la serie; sin embargo, funcionó bien en episodios seleccionados de las temporadas 2, 4, 5 y 6. Me gustaría agradecer a Cyril Niderprim por encontrar la solución ridículamente simple a continuación. Y aunque Rio Grande puede arrojar errores, daré ejemplos de ellos a continuación, si arruina el episodio tanto que no puede aceptarlo, hay una alternativa para ello.
También logré convertir a 59.94 cuadros por segundo con idéntica calidad usando un modelo con nombre en código "Orinoco". Orinoco retiene el movimiento correctamente en todos los escenarios, y se adjunta al proyecto para fines de seguro. En términos de calidad, es comparable al Rio Grande, pero tiene 2,5 veces más marcos, que tardan 2,5 veces más en procesarse. El Río Grande debería funcionar, pero si no funciona, el Orinoco lo hará. Si ambos métodos no son suficientes para un episodio en particular, se me ocurrió una forma de ajustar el sistema manualmente.
Configure todos los videos de YouTube incluidos en el artículo en 4K para obtener la mejor calidad de reproducción; las resoluciones más bajas no transmiten calidad de imagen.
Hice dos títulos para demostrar las dos opciones de escala de resolución diferentes que ofrece Topaz: Theia Detail (configuración predeterminada) y Gaia-CG. Aquí está la salida de Gaia-CG:
Este no es un tutorial paso a paso que describa el proceso de procesamiento de video de una manera que cualquiera pueda manejar. Escribir tal instrucción sería un proyecto separado. Sin embargo, daré suficiente información para que alguien con un conocimiento superficial de AviSynth pueda repetir ambos enfoques.
El resultado del trabajo de Theia Detail:
Parte del marco desaparece durante unos segundos mientras el carguero bajorano recorre la estación. Este es un error único, no lo he visto en ningún otro lugar del programa y ocurre con bastante frecuencia, independientemente de los filtros utilizados. Siempre aparece en los créditos y casi no estropea la imagen; no hay necesidad de preocuparse de que los fotogramas aleatorios del video pierdan bloques.
La mayoría de los videos se capturan al menos de dos formas diferentes. Si no le gusta la salida de Theia, pruebe Gaia-CG. Si Gaia-CG no le conviene, es posible que le guste Gaia-HQ; he incluido solo un ejemplo de cómo funciona en este artículo.
Deformación máxima
Rio Grande y Orinoco intentan hacer la menor cantidad de concesiones posibles en lo que respecta a la calidad de la imagen. Cada etapa del proceso está pensada de tal manera que se guarden todos los detalles a expensas del espacio de almacenamiento hasta la última codificación, después de lo cual puede elegir el grado de pérdida de calidad.
Todos los clips que se muestran aquí se codificaron en 0.0 H.264, y luego se aumentó la resolución cuadro a cuadro y sin pérdida. Codifiqué estos clips en formato H.265 con un CRF de 6, lo que resultó ser demasiado. Vive y aprende. Hay una sutil diferencia entre los valores de CRF de 14 y 20 en los fotogramas congelados, y 25 ya se ve bastante feo.
Aumente los modelos de resolución: evite Artemis y aumente la resolución en un 200%
He grabado al menos un ejemplo para cada uno de los modos de mejora de Topaz, con la excepción de Artemis-LQ y Artemis-HQ. Estos algoritmos son completamente inapropiados para Deep Space 9, no es que entreguen algún tipo de basura perfecta, pero reaccionan mal a los contenidos de esta serie. Considere que no son adecuados para la tarea. El resultado del trabajo de Gaia-HQ no me impresionó mucho, aunque todavía publiqué un ejemplo. Quedan dos modelos, Theia y Gaia-CG.
Siempre me gustó más Gaia-CG, así que la mayor parte se hace con este modelo, aunque también demostré la familia de algoritmos Theia. Tienen ajustes configurables para el ruido, la claridad y la restauración de detalles, todo lo cual puede ser muy útil cuando se trata de eliminar el ruido de un lugar feo en una pared o alfombra.
Debe evitarse aumentar la resolución en un 200%. Genera errores donde no los hay en la fuente y la calidad de la imagen es significativamente inferior a la obtenida con un aumento del 400%. Tenga en cuenta que el proceso de restauración tiene una peculiaridad: hace una costura en el lado derecho o izquierdo del marco. Luego se puede cortar fácilmente, pero esto debe tenerse en cuenta.
Topaz ofrece opciones para escalar sin pérdida a través de imágenes o MP4 con pérdida. Todos los videos que ves se realizan mediante conversión sin pérdidas a PNG.
¿Cuántas piezas adicionales se han remanufacturado?
La loca idea que me hizo seguir este camino fue que puedo extraer información visual adicional accediendo a las fuentes originales del DVD en lugar de a los archivos de respaldo antiguos. Aquí hay un ejemplo de mi mejor intento de aumentar la resolución a partir de enero:
así era en el pasado.
Si bien algunas mejoras son posibles gracias a mejoras de bajo nivel en los programas de IA para aumentar la resolución, el programa necesita obtener suficiente información para aumentar la resolución de la imagen sin convertirla en un revoltijo. Imagina una toma en la que todo se renderiza en resolución de DVD y el cabello de Odo está en 4K. Se vería muy extraño. Cuantos más detalles pueda extraer el programa, más posibilidades tendrá de producir algo hermoso. Volver al DVD le dio al programa más material para trabajar.
Así es como se ve hoy.
Para dar una idea del progreso, aquí hay tres cuadros de "Definir": cómo se ve en DVD, la mejor ampliación que pude lograr en febrero y el mejor resultado hasta la fecha:
"Definir" en DVD. Mejor que Netflix.
Febrero de 2020: mejor, pero pensé que se podría hacer mejor.
Eso está mucho mejor. Codificador Orinoco.
Aquí está mi foto de "Diseño" favorita de toda la serie. En abril, estaba muy orgulloso de lo que salió de él. Y todavía se ve bien.
Todavía me gusta, pero aún podemos hacerlo mejor. La
ayuda de un modelo de IA correctamente ajustado es obvia. Un mecanizado mejorado puede dar como resultado que el modelo se limpie de manera un poco diferente, sin embargo, algunas partes del cuerpo han cambiado de forma.
Los beneficios son claros. Cada vez que comparo un video mejorado hecho con archivos MKV antiguos con un video hecho con DVD, este último gana.
Entonces, ¿qué tan bueno es el resultado?
En mi opinión, el procesamiento cuidadoso y la mejora de la resolución son capaces de darle a Deep Space 9 la nitidez de lo que comúnmente se conoce como contenido HD, aunque la imagen todavía está limitada por la gama de colores NTSC, en comparación con estándares posteriores como Rec. 709 ". Como mínimo, desviándose del ideal, se ve mejor que cualquier DVD que hayas visto. Y en los mejores casos, y considero que el marco con Sisko es uno de los mejores, al menos en la imagen resultante, el detalle alcanza el nivel HD.
Los pasos que tomé durante la recuperación han solucionado algunos de los defectos de la fuente, pero no todos. En el episodio "El camino del guerrero" hay una secuencia de fotogramas que parece que algo se derramó en la cinta; no sé cómo solucionarlo. Todos los resultados de codificación a continuación se tomaron en el Río Grande.
El camino del guerrero: no es una ilusión
El episodio presenta dos de las mejores escenas de batalla de la cuarta temporada. En el primero, Sisko usa Defynt para rescatar una nave cardassiana contra la que disparan los klingon. Se puede ver que los especialistas en efectos especiales experimentaron con volver a mostrar la muerte de los personajes desde una perspectiva externa, y este no es el caso en "La próxima generación". Obviamente, los chicos de efectos especiales se divirtieron mucho con "Defynt".
La segunda gran escena de batalla se muestra a continuación. Tiene un hermoso guiño al piloto del programa, donde Kira fanfarronea para hacer que un escuadrón de naves cardassianas crea que la estación está mucho mejor armada de lo que realmente está.
Pero esta vez todo se hace de otra manera. Primero, el video se escala con Theia Fidelity con la configuración predeterminada y luego se procesa en Gaia-CG. El último que usé anteriormente para tomar capturas de pantalla:
Incluí escenas de comunicación de los personajes en la revisión para demostrar que estas tecnologías de procesamiento funcionan para algo más que el combate en el espacio o naves espaciales. Deep Space 9 no se trata solo de batallas filmadas en una computadora, sino que hay algunos grandes ejemplos de estas batallas en el programa, especialmente para los estándares de los años 90. A continuación se muestra Gaia-CG:
Cielo perdido
El Defiant lucha contra los Lakota en esta batalla, mientras que parte de la Flota Estelar intenta un golpe. El clip muestra específicamente lo que sucede cuando el Río Grande no procesa correctamente la escena. En su mayor parte, funciona, pero al final se contrae notablemente. Y me aseguré de que el caso aquí en el Río Grande - Orinoco manejara todo perfectamente sin problemas. Si no le preocupa un poco de espasmos, utilice el Rio Grande. Si está preocupado, pruebe con Orinoco.
Mucho más allá de las estrellas
Uno de los beneficios de la ciencia ficción es que los creadores de programas pueden arreglárselas fácilmente con los problemas del viaje en el tiempo. En este episodio, Benjamin Sisko es abandonado en la década de 1950, al menos desde su punto de vista, y se enfrenta a las injusticias raciales de esa época. Resolución aumentada en Gaia-CG:
En la pálida luz de la luna
El mayor episodio de Deep Space 9 termina con un monólogo escalofriante. Resolución aumentada en Gaia-CG:
La misma escena renderizada en Theia Detail con un 10% de nitidez, un 20% de eliminación de ruido y un 20% de restauración de detalles.
Sacrificio de ángeles
¿Sabías que íbamos a volver a este episodio? En el episodio "Primera Flota" (a continuación, traducido en Gaia-CG), la federación decide luchar contra las fuerzas militares combinadas superiores de los cardassianos y los dominios. Me gustan las maniobras de las naves clase Galaxy. Desde ciertos ángulos, a menudo parecen gruesos e incómodos, mientras que desde otros se ven muy bien. En "Deep Space 9" la situación con esto es mucho mejor que en "The Next Generation".
El primer ataque evita que Defynt haga el hueco que necesita. Starfleet decide intentar romper el frente enemigo, aunque las fuerzas enemigas son dos veces más grandes. Decidí representar esta escena de diferentes maneras. Primero - Gaia-CG:
Entonces Gaia-CG con CRF = 20. Aquí la pérdida de calidad resultó ser pequeña, pero no recomiendo aumentar más este valor. El problema con el uso de DVD como fuente es que la calidad comienza a sufrir después de que se pierde una pequeña cantidad de detalles, y la información obtenida de la imagen interpolada y ampliada no es particularmente buena de todos modos. Con una disminución gradual de la calidad, en algún momento, cae muy bruscamente. CRF = 25 resultó ser demasiado.
Gaia-HQ:
Detalle de Theia, configuración predeterminada:
Finalmente, Theia Fidelity con un 20% de nitidez, un 30% de restauración de detalles y un 20% de reducción de ruido:
Aunque me he concentrado en las últimas temporadas del programa, este tipo de codificación y mejora funciona en las primeras temporadas. Solo tenga en cuenta que el material de origen de las primeras temporadas disponible para nosotros no es de tan buena calidad.
La demostración está terminada. Hablemos de implementación.
Cómo codificar el Río Grande
Por razones que aún no tengo claras, los archivos que StaxRip crea con los métodos anteriores no se reproducen normalmente en Windows Media Player o Apple Quicktime. Pero funcionan bien en VLC o MPC-HC. Si los siguientes guiones devuelven un error, asegúrese de que el editor no reemplace las comillas.
Para la codificación de Rio Grande, debe copiar el DVD con DVD Decrypter y crear un archivo de índice D2V usando DGIndex u otro programa similar. Luego, encienda su interfaz AviSynth favorita, si está usando una. Yo personalmente uso StaxRip.
El script de AviSynth se proporciona a continuación:
TFM()
TDecimate()
QTGMC2 = QTGMC(Preset="Very Slow", SourceMatch=3, InputType=2, Lossless=2, MatchEnhance=0.75, Sharpness=0.5, MatchPreset="Very Slow", MatchPreset2="Very Slow")
QTGMC3 = QTGMC(preset="Very Slow", inputType=3, prevGlobals="Reuse")
Repair(QTGMC2, QTGMC3, 9)Una alternativa a los modelos Rio Grande y Orinoco, que, sin embargo, no probé por mucho tiempo:
TFM()
TDecimate()
QTGMC2 = QTGMC(Preset="Very Slow", SourceMatch=3, TR2=5, InputType=2, Lossless=2, noiserestore=0.1, NoiseDeint="Generate", grainrestore=0.1, MatchEnhance=0.75, Sharpness=0.5, MatchPreset="Very Slow", MatchPreset2="Very Slow")
QTGMC3 = QTGMC(preset="Very Slow", SourceMatch=3, Lossless=2, InputType=3, TR2=5)
Repair(QTGMC2, QTGMC3, 9)Un guión de este tipo parece ofrecer una calidad un poco mejor que Orinoco Standard en términos de ondas.
Si su imagen está distorsionada, intente retroceder a TR2 = 4. Lo mismo se aplica al Orinoco, solo que será necesario sacarlo
InputType=2 InputType=3del Río Grande.
Eso es todo. También podrá volver a insertar ruido en el video mientras se ejecutan estos scripts. El ruido agregado a uno de los pases QTGMC permanecerá en la imagen después de la recuperación. El Rio Grande no da una imagen 100% perfecta, sin embargo, a 29,976 fps funciona casi perfectamente en todas las escenas que probé excepto una. Si tiene más problemas de los que esperaba, es exactamente por eso que hice Orinoco. Técnicamente, será posible renderizar una escena específica a 59,94 fps y luego incluirla en la versión de 23,976 fps ensamblando un archivo VFR durante la compilación de las imágenes resultantes en video.
Se requieren ejecuciones de QTGMC para mejorar la imagen, y aunque estoy abierto a sugerencias, hasta ahora nada de lo que he probado se ha acercado a la calidad que produce este script. Se puede modificar en términos de la profundidad del impacto en la imagen y el tiempo de procesamiento, pero notará que cuando se pasa de Muy lento a Lento o Medio, la calidad se deteriora notablemente. Si te encanta el ruido en la imagen y no te importa perder tiempo buscando artefactos (o sabes cómo deshacerte de ellos de otra manera), entonces Slow es tu elección.
El único inconveniente de esta forma de ejecutar QTGMC es que a veces produce ondas en alguna parte de la escena. Es más fácil para mí ignorarlo, y todas las soluciones a este problema que traté de encontrar, al final, dañan aún más. Y aunque me gustaría deshacerme de esto, por ahora pertenece a la categoría de una "característica" tolerable.
Las secuencias son
InputType=2 InputType=3muy importantes. Ejecutar una sola copia de QTGMC no tendrá el mismo efecto. Ejecutar dos copias con InputType=2no dará el mismo efecto. Hay nueve formas posibles de combinar los tipos de entrada al ejecutar la recuperación de imágenes, y las he probado todas. El 2,3 funciona mejor, desde The Emissary hasta What You Left Behind.
También probé los 25 modos funcionales de reparación que admite AviSynth. Necesitas un modo, 9. Si por alguna razón no le conviene, pruébelo, 1. La mayoría de los otros prácticamente no tienen ningún efecto sobre el resultado, y algunos de ellos incluso rompen la imagen de una manera interesante. Los he revisado todos muchas veces, solo para ver cómo cambia el resultado final según el modo seleccionado.
Cómo codificar Orinoco
El Orinoco no es fácil de codificar, pero funciona mucho mejor de lo que esperaba.
Todo comienza con el hecho de que en lugar de un archivo, creamos dos. Codifique la primera versión de la secuencia usando el siguiente script:
TDeint(mode=1, type=2, tryweave=true, mtnmode=3, full=false, ap=10, aptype=2, slow=2)Le indica a TDeint que emita un conjunto duplicado de marcos, interpole el kernel [interpolación del kernel], intente recuperar el marco usando tejido, si el resultado es menos artefactos que con el desentrelazado, y aplique el desentrelazado a aquellos cuadros donde hay entrelazado. Este modo conserva los fotogramas progresivos incluidos en la fuente NTSC. La segunda mejor opción después de Type = 2 fue Type = 5, pero planteó más problemas de los que resolvió.
Ahora dejemos a un lado el clip resultante y pasemos a otro. Debe ejecutarse mediante el siguiente script:
QTGMC2 = QTGMC(Preset="Very Slow", SourceMatch=3, Lossless=2, MatchEnhance=0.75, Sharpness=0.5, MatchPreset="Very Slow", MatchPreset2="Very Slow")
QTGMC3 = QTGMC(preset="Very Slow", prevGlobals=”Reuse”)
Repair(QTGMC2, QTGMC3, 9)El guión es similar pero no idéntico al que usamos para el Río Grande. Esa implementación de QTGMC se ejecuta en modo progresivo. En el caso de Orinoco, necesitamos duplicar la velocidad de fotogramas, desde la base de 29,97 fps a 59,94 fps. Después de que coincidan las velocidades de cuadro de QTGMC y TDeint, también comenzamos la recuperación en ellos. Si ejecuta dos clips con diferentes velocidades de fotogramas en el modo de reparación, lo verá de inmediato: una extraña costura en movimiento será visible en la pantalla.
Este es, por supuesto, según tengo entendido, un enfoque al revés para la edición de video, pero mi locura tiene sentido. La razón por la que la gente no suele insertar muchos fotogramas de vídeo para aumentar el VFR de 23,976 / 29,97 a 59,94 fps es porque las tarjetas interpoladas de esta manera que aumentan la frecuencia pueden introducir errores visuales y otros problemas. Hay un problema 22: si no los incluye, el archivo de salida resultará entrecortado. Si está habilitado, el cambio de los límites del marco a veces se verá muy extraño o diferentes partes del marco se fusionarán. La situación es regular.
Pero hay una forma de solucionarlo.
clip1=FFVideoSource(“C:\DS9S6D2\Sacrifice-TDeint.mkv”)
clip2=FFVideoSource(“C:\DS9S6D2\Sacrifice-QTGMC-ToPairWithTDeint.mkv”)
Repair(clip1, clip2, 9)Creamos un archivo QTGMC interpolado para convertirlo en una fuente nítida y limpia para Sacrifice-TDeint. Como dije, uso QTGMC porque no he encontrado otro método similar para obtener videos limpios. Utilice el ajuste Muy lento para reducir el ruido en la imagen.
En el video resultante, opcionalmente puede ejecutar QTGMC nuevamente, pero luego el video se verá demasiado procesado. Los modelos de Theia pueden compensar un poco este efecto gracias a un algoritmo de reducción de ruido bastante eficaz.
En términos de calidad, Orinoco y Rio Grande dan aproximadamente el mismo resultado, y a menudo ni siquiera puedo notar la diferencia cuando los comparo cuadro por cuadro (aparte de los cuadros interpolados, por supuesto). Prefiero el Río Grande porque es más simple y rápido, pero no puedo garantizar que funcione en los 176 episodios del programa. Si se encuentra con un episodio en el que el movimiento tiembla o salta, intente conducirlo a través del Orinoco en lugar del Río Grande.
Desventajas y problemas
Orinoco y Rio Grande no son perfectos. Todavía estoy buscando un método para eliminar las ondas. Este es un pequeño problema, pero prácticamente el único por resolver. La mejor solución para hoy sería usar MCTemporalDenoise, sin embargo, este método parece ser completamente de un solo subproceso y también me da otros problemas de calidad.
Si desea experimentar con MCTemporalDenoise, le recomiendo establecer el número de píxeles en 7 y la fuerza del efecto no exceda de 2-3. Las ondas no desaparecen por completo, pero en algunos lugares mejoran. Si no le gusta la calidad resultante, evite los modelos de ampliación de resolución de Theia e intente aplicar una reducción de ruido del 10-20%.
Mi objetivo era crear una plantilla universal para todo el proyecto, pero registraré cualquier cambio que deba realizarse en los modelos para hacer frente a episodios problemáticos.
Aviso importante sobre la lectura del DVD de la temporada 1
StaxRip se comporta de manera muy extraña cuando se carga un archivo D2V que contiene el 98-99% del video. Me cambió la velocidad de fotogramas más de una vez: de 29,97 automático a 23,976. Y en tales casos, sobrescribe el archivo generado por DGIndex. Si aplica el modelo de Rio Grande a un archivo de 23.976, obtiene un contenido de 19 fps que se ve realmente mal.
Todavía estoy tratando de averiguar por qué sucede esto. En los episodios con un 98.5-99.5% de video, generalmente se puede asumir que solo los títulos van con una frecuencia de 29.97 y codificar estos episodios omitiendo los segmentos TFM / TDecimate.
La próxima vez ... en el proyecto de mejora de resolución de Deep Space 9
Después de terminar el proyecto, puedo comenzar a saquear episodios de discos y codificarlos. Voy a escribir un kit de capacitación con instrucciones sobre cómo hacer esto, hacer una prueba de velocidad para estaciones de trabajo y resolver problemas con episodios específicos. Se me ocurrió un método completamente gratuito para aumentar la resolución, que, aunque no funciona tan bien como Topaz, obviamente mejora la imagen. También quiero tratar con PAL.
ViacomCBS no considera que Deep Space 9 sea digno de remasterización. Creo que están equivocados. La calidad que se puede extraer del DVD no es la ideal, por lo que no llamo a los resultados de mi trabajo 4K o UHD, aunque la gente suele arrojar esos términos en tales proyectos. Puede extender Deep Space 9 a 4K, pero no puede exprimir esa calidad de una fuente de DVD. La solución no es perfecta, pero está muchos años luz por delante de todas las opciones anteriores. Si resulta que el Río Bravo a menudo comete errores con una frecuencia de 23,976, encontraremos una solución para estos epiodos. Hay muchas razones para creer que la nueva tarjeta Nvidia GeForce RTX 3080 acelerará significativamente este aumento de resolución, lo que facilitará la conversión a una velocidad de fotogramas de 59,94.
Ningún otro fanático de Star Trek tendrá que esperar a que ViacomCBS encuentre valor financiero al invertir en su propio archivo. Los DVD y el software le costarán dinero y tendrá que dedicar mucho tiempo a la informática en el proyecto. En una tarjeta RTX 2080, se necesitan entre 8 y 11 horas para aumentar la resolución de un episodio a una velocidad de fotogramas de 23,976. Una frecuencia de 59,94 lleva proporcionalmente más tiempo, aunque la codificación se puede pausar y continuar según sea necesario. Hasta la fecha, la mejor tasa ha sido de 10 a 14 horas por episodio. Esto es aproximadamente 2464 horas, o aproximadamente 103 días para toda la serie. El proyecto está aproximadamente en el límite de lo que es posible para un individuo.
Nuevamente, simplemente puede ejecutar el DVD a través de AviSynth para mejorar dramáticamente la calidad y resolución de episodios individuales. Yo, por ejemplo, pensé en saltarme la primera y la segunda temporada por completo. También espero que Ampere pueda mejorar significativamente la eficiencia de su motor de inteligencia artificial.
¿Hará la mayoría de la gente esto? No. La mayoría de la gente verá la serie en Netflix, donde la calidad será mucho menor que en DVD.
Pero a partir de hoy, nadie está obligado a hacer esto. Ahora puede ver el trabajo de los especialistas y actores en efectos visuales como lo pretendían. Orinoco y Rio Grande no son perfectos, pero muestran cuánta calidad se puede obtener de los DVD de finales de los 90. Las GPU son cada vez más rápidas. Los impulsores de resolución AI0 son cada vez más inteligentes. Incluso si su computadora o GPU actual no puede hacer frente a un proyecto de este tipo, la próxima puede estar en el hombro.