El equipo de investigación de Microsoft Asia presentó este miércoles VASA, su nuevo framework generativo de imágenes y audio de rostros por Inteligencia Artificial. Este nuevo desarrollo permite generar caras parlantes realistas de personajes virtuales con habilidades visuales afectivas atractivas (VAS), a partir de una única imagen estática y un clip de audio de voz, superando con creces a los deepfakes actuales.
Su modelo premier, VASA-1, es capaz de sincronizar eficazmente los labios con el audio y capturar un amplio espectro de matrices faciales. Con ello, logra movimientos expresivos y de movimiento de cabeza bastante naturales. Gracias a su procesamiento y fluidez, permite emular comportamientos de conversaciones humanas en tiempo real, dar emociones al rostro y hablar bajo un texto predefinido.
Produce cuadros de video de 512×512 a 45 fps en el modo de procesamiento en lotes offline. Es capaz de soportar hasta 40 fps en el modo de streaming online con una latencia inicial de apenas 170 ms, según pruebas realizadas en una computadora de escritorio equipada con una tarjeta gráfica NVIDIA RTX 4090.
Cabe destacar que, desde Microsoft, saben lo peligroso que podría ser VASA actualmente, como ser mal utilizada para suplantar a humanos. Aclaran que todas las demostraciones reveladas en el sitio oficial son identidades virtuales no existentes generadas por StyleGAN2 o DALLE-3, excepto por la Mona Lisa.
Finalmente, indicaron que esto es una prueba de desarrollo, por lo que no hay planes de lanzamiento de ningún producto. A esto se extienden demostración en línea, API, producto, detalles adicionales de implementación, ni ninguna oferta relacionada. Su liberación en un aplicativo a un futuro será hasta que el equipo de investigación pueda demostrar y estar seguros de que la tecnología se usará de manera responsable y alineada con regulaciones adecuadas.
