MeInGame es un modelo de red neuronal que genera un personaje de videojuego a partir de la imagen de una cara. Este modelo predice la forma del rostro y su textura. La predicción final se puede implementar en la mayoría de los juegos 3D existentes. Los experimentos han demostrado que el modelo pasa por alto enfoques alternativos para la generación de personajes.

Una imagen de caras de las personas y sus personajes creados por MeInGame
Personajes generados por MeInGame

Porque es necesario

Los sistemas actuales para customizar los personajes del juego requieren que el usuario lo personalice manualmente. Además, estos cambios pueden estar limitados en las formas y texturas de la cara. Las técnicas que se basan en la arquitectura 3D Morphable Face Model (3DMM) pueden reconstruir con precisión modelos de caras 3D a partir de una imagen. Sin embargo, las mallas que generan estos modelos son diferentes de las mallas utilizadas en los juegos. Esto complica el uso de tales modelos en los videojuegos.

De hecho, los modelos actuales requieren una gran cantidad de datos de textura facial para aprender. La recopilación de estos conjuntos de datos es laboriosa y requiere mucho tiempo. MeInGame requiere menos datos de entrenamiento y se puede integrar en videojuegos.

Más sobre el método de MeInGame

MeInGame consta de tres partes:

  1. Un método para recolectar texturas que no requiere mucha mano de obra;
  2. Algoritmo para transferir la forma de la cara del formato 3DMM al formato utilizado en los juegos;
  3. Pipiline para entrenar modelos de recuperación facial en 3D para personajes de videojuegos.

El método propuesto no solo puede generar caras detalladas y realistas de los jugadores, similares a las imágenes de entrada, sino que también hace que el modelo sea resistente a la iluminación y las oclusiones. El código fuente del proyecto y el conjunto de datos están disponibles en el repositorio abierto en GitHub.