¡Hola a todos! Estoy trabajando con modelos generativos, uno de mis proyectos es el desarrollo de DeepFake. Planeo crear varios artículos sobre este proyecto. Este artículo es el primero, en el que consideraré las arquitecturas que se pueden utilizar, sus ventajas y desventajas. De los enfoques existentes para crear DeepFake, se pueden distinguir los siguientes:
Arquitectura basada en códecs
Redes generativas adversarias (GAN)
Arquitectura codificador-decodificador
Este enfoque incluye métodos de generación basados en codificadores automáticos. Están unidos por el uso de pérdidas de píxeles (la imagen de entrada se compara píxel a píxel con la imagen de salida, se optimizan las funciones de pérdida MSE, MAE, etc.), lo que determina las ventajas y desventajas de este esquema. La ventaja es que los codificadores automáticos son relativamente fáciles de entrenar (en comparación con los GAN). La desventaja es que la optimización por métricas de píxeles no permite lograr un fotorrealismo comparable a otros métodos (nuevamente, en la comparación GAN). La primera opción que consideré fue un circuito de decodificador dual. Se pueden encontrar más detalles aquí La arquitectura se muestra en la figura siguiente.
: - , , , . , . , . , DeepFake , , .. , . - , ( ) . " - " , .
Condtional Autoencoder
. .
: . latent_dim . , / ( ), , .. .. , . .. , atrributes vectors , , , , .. atrributes vectors , , , . , , .. atrributes vectors . .
, - , - . - "", . , .. .
Conditional GAN
GAN , . .. DeepFake ( - , ), Conditional GAN. GAN Conditional GAN . , .
GAN, . , .. , , . Conditional Gan - Z ( label). . , . Conditional GAN .
( - , - ). attributes vectors , . X GAN . , , GAN . , - DeepFake, , . . DeepFake GAN :
El desarrollo del proyecto continúa en este momento. Se planean muchas mejoras, en primer lugar: aumentar la resolución, trabajar escenas con iluminación compleja. Si está interesado, a medida que aparezcan nuevos resultados, habrá nuevas publicaciones.