2023 nos ha dejado muchos avances en el uso de la IA generativa en creación 3D. En ocasiones, las mejoras van tan rápido que las carencias que pueda tener una nueva técnica en un momento dado se suplen en cuestión de meses o incluso semanas.
Ese es el caso de la nueva técnica de generación de objetos 3D desarrollada por Stability AI. En diciembre de 2023, presentaron Stable Zero123, un modelo de inteligencia artificial avanzado capaz de generar objetos 3D a partir de imágenes individuales y que supone una mejora significativa respecto de su predecesor, Zero123-XL.
Técnica de generación de objetos 3D Stable Zero123
El germen o la idea que se esconde tras el desarrollo de Stable Zero123, como suele suceder con la mayoría de modelos basados en inteligencia artificial, se encuentra en una habilidad que poseemos los humanos de manera natural. Las personas tenemos la capacidad de imaginar la forma completa o cómo se vería un objeto tridimensionalmente a partir de su imagen bidimensional. Y eso es precisamente lo que se intenta lograr con Stable Zero123.
Esta nueva técnica surge tomando como punto de partida un estudio realizado de manera conjunta por expertos de la Columbia University y el Toyota Search Institute en el que se introducía Zero-1-to-3, un nuevo framework o plataforma desde la que cambiar el ángulo o vista de cámara de un objeto a partir de una imagen RGB individual.
El objetivo de Zero-1-to-3 es crear nuevas vistas y controlar la perspectiva de la cámara en modelos de difusión (diffusion models) de gran escala -es decir, modelos de IA generativa capaces de crear imágenes de alta resolución en distintas calidades.
Gracias al entrenamiento del modelo con distintas bases de datos, con este experimento no solo se pueden crear nuevas vistas, sino que también se puede aplicar a la reconstrucción 3D a partir de una única imagen.
Adoptando los principios de esta investigación para la generación de objetos 3D, Stability AI mejoró la plataforma de código abierto threestudio para que sirviese de base tanto para Stable Zero123 como para su versión anterior, Zero123-XL. Para entrenar el modelo, utilizaron una base de datos seleccionada cuidadosamente a partir de los más de 10 millones de objetos 3D que se encuentran en Objaverse.
Primero, en noviembre de 2023, lanzaron Stable 3D Private Preview, con el que se puede generar un modelo 3D en cuestión de minutos; eso sí, con una calidad de borrador. Aun así, resulta muy útil para los creadores de contenidos 3D, ya que pueden ahorrar mucho tiempo.
Poco después, Stability AI presenta Stable Zero123 para generar objetos 3D a partir de imágenes con una calidad superior a la de Zero123-XL que es notable, sobre todo, al cambiar de perspectiva. Además, esta técnica se puede adaptar a la generación text-to-3D, de texto a 3D; esto se logra a partir de una imagen generada por Stable Diffusion XL, un modelo de IA generativa para crear imágenes a partir de texto.
Mejoras que introduce Stable Zero123 en la generación de objetos 3D
Tal y como señalan desde Stability AI, Stable Zero123 destaca por su capacidad de interpretar con precisión cómo debería verse un objeto desde distintas perspectivas, lo cual supone un gran avance en el mundo de la creación de la vista de objetos 3D.
Además, al comparar los objetos 3D generados por Stable Zero123 con otros modelos, especialmente Zero123-XL, que ya era bastante innovador cuando apareció, los resultados son mucho mejores. Esto se ha conseguido principalmente gracias a tres mejoras que se han introducido respecto a Zero123-XL:
- Stable Zero123 es un modelo entrenado por Stability AI con una base de datos en la que se han seleccionado solamente aquellos objetos 3D que se consideraban de una calidad más alta.
- Durante el entrenamiento, al modelo se le proporcionaron estimaciones de ángulos de cámara, lo que le permite tener más información y realizar mejores predicciones.
- Se combinaron un cargador de datos mejorado capaz de soportar mayores batches (automatizaciones) y un set de datos pre-calculado, además de lo dicho en el primer punto, con lo que se consiguió una eficiencia en el entrenamiento del modelo hasta 40 veces más alta que para Zero123-XL.
Stable Zero123 permite generar objetos 3D más consistentes desde todos los puntos de vista, es decir, mejora mucho la vista del objeto, especialmente en cuanto a la perspectiva y a cómo se percibe el color/la luz.
Por el momento, es una técnica muy nueva que se comparte para un uso académico y no comercial. Todavía está dando sus primeros pasos, pero es importante conocer todos estos avances en la aplicación de la IA generativa para generar objetos 3D más realistas y de una manera cada vez más rápida y eficiente.
En Many·Worlds no dejamos de aprender y buscar nuevas soluciones para que tus proyectos puedan aprovechar todo el potencial que ofrecen estas nuevas tecnologías. Pregúntanos y te contaremos cómo puede ayudarte todo esto.
