La compañía detrás de TikTok, Bytedance, ha lanzado DreamActor-M1, un revolucionario sistema de inteligencia artificial que transforma la manera en que interactuamos con los avatares digitales. Este innovador sistema ofrece a los usuarios un control excepcional sobre las expresiones faciales y los movimientos del cuerpo en videos generados, llevando la animación a un nuevo nivel.
Una de las características más destacadas de DreamActor-M1 es su capacidad de “guía híbrida”, que combina múltiples señales de control para lograr resultados más precisos. La arquitectura del sistema se compone de tres elementos fundamentales. En su núcleo, se encuentra un codificador facial que puede ajustar las expresiones de manera independiente de la identidad o la posición de la cabeza de una persona. De acuerdo con los expertos de Bytedance, esta funcionalidad resuelve limitaciones comunes que presentaban sistemas anteriores.
La demostración muestra cómo las expresiones faciales y el audio de un video se aplican tanto a un personaje animado como a una persona real.
Además, el sistema gestiona los movimientos de la cabeza utilizando un modelo 3D que emplea esferas de colores para dirigir la mirada y la orientación de la cabeza. Para el movimiento corporal, se utiliza un sistema esquelético en 3D con una capa adaptativa que se ajusta a diferentes tipos de cuerpo, logrando una representación más natural.
Durante el proceso de entrenamiento, el modelo se alimenta de imágenes tomadas desde diversos ángulos. Los investigadores afirman que esto le permite generar nuevos puntos de vista incluso a partir de un solo retrato, completando inteligentemente los detalles faltantes, como la ropa y la postura.
El entrenamiento se lleva a cabo en tres etapas: primero, el modelo se enfoca en los movimientos básicos del cuerpo y la cabeza; luego, se añaden expresiones faciales controladas con precisión; y finalmente, se optimiza todo para conseguir resultados más coordinados. Bytedance ha utilizado un total de 500 horas de video para entrenar este modelo, repartiendo equitativamente imágenes de cuerpo completo y de la parte superior del cuerpo.
Un paso adelante en la animación de avatares digitales
Según los investigadores, DreamActor-M1 supera a sistemas similares en términos de calidad visual y precisión en el control del movimiento, incluso en comparación con productos comerciales como Runway Act-One. Sin embargo, como todo sistema, tiene sus limitaciones. Actualmente, no puede manejar movimientos de cámara dinámicos, interacciones con objetos, ni diferencias extremas en las proporciones corporales entre la fuente y el objetivo. Las transiciones complejas de escena también presentan desafíos.
Bytedance no se detiene aquí; la empresa está trabajando en varios proyectos de animación de avatares al mismo tiempo. A principios de este año, se lanzó OmniHuman-1, que ya está disponible como herramienta de sincronización de labios en la plataforma Dreamina de CapCut, lo que demuestra la velocidad con la que Bytedance está llevando su investigación al público. Otros proyectos en marcha incluyen la serie de videos AI Goku y el generador de retratos InfiniteYou.
La capacidad de DreamActor-M1 para combinar animación realista con un control preciso promete abrir nuevas oportunidades en el campo de la creación de contenido digital. Con cada avance, Bytedance redefine lo que es posible en el mundo de los avatares y la IA.