Gracias a la tecnología que usamos en nuestra vida diaria, podemos capturar momentos en el mundo que nos rodea en forma de imágenes. Sin embargo, el proceso solo puede crear una memoria bidimensional del mundo tridimensional que vemos. Los científicos ahora están tratando de recrear modelos 3D a partir de estas instantáneas 2D, y es posible que Nvidia haya desarrollado una tecnología innovadora en este sentido.
La compañía, llamada Instant NeRF, demostró la nueva capacidad en Nvidia GTC, una conferencia mundial para desarrolladores de inteligencia artificial. Esta técnica es una mejora de NeRF o campo de neurorradiación, que se utiliza para desarrollar escenas 3D realistas a partir de un conjunto de imágenes 2D. Para esto, se usa un proceso llamado renderizado inverso donde se usa inteligencia artificial para estimar cómo se comporta la luz sobre o alrededor de un objeto en el mundo real.
Nvidia dice que su equipo de investigación ahora ha desarrollado una versión ultrarrápida de NeRF. Según un blog que detalla el desarrollo, Nvidia dice que su nueva tecnología «hace el trabajo [inverse rendering] Casi inmediatamente. De ahí el título ‘NeRF instantáneo’.
Con esto, Nvidia dice que su tecnología es «uno de los primeros modelos de este tipo en combinar el entrenamiento de redes neuronales ultrarrápido con renderizado rápido». Como se indica en su blog, Instant NeRF puede aprender una escena 3D de alta resolución en segundos y «puede mostrar imágenes de esa escena en unos pocos milisegundos». Esto se describe como «1000 veces más aceleración» que los procesos NeRF normales vistos hasta ahora.
¿Como funciona?
Nvidia dice que el modelo de IA requiere segundos para entrenarse en imágenes fijas para generar una representación 3D. Para ello, se alimenta de «unas pocas decenas de imágenes fijas» del objeto, así como de datos sobre los ángulos de cámara desde los que se han realizado estas tomas. En «decenas de milisegundos», Instant NeRF puede renderizar una escena 3D basada en las imágenes 2D.
La tecnología se ve inmediatamente impresionante. Nvidia lo sabe y ha estado enfatizando su importancia tanto durante la presentación como en el blog. «NeRF instantáneo puede ser tan importante para 3D como las cámaras digitales y la compresión JPEG para imágenes 2D», dice David Luebke, vicepresidente de investigación de gráficos de NVIDIA. El comentario reitera el nivel de velocidad que el nuevo modelo de IA aporta a las representaciones 3D creadas a partir de imágenes fijas.
Instant NeRF se desarrolló utilizando el kit de herramientas Nvidia CUDA y la biblioteca Tiny CUDA Neural Networks. Dicho esto, la compañía afirma que es una red neuronal liviana y, por lo tanto, puede ejecutarse en una sola GPU Nvidia, con la mejor compatibilidad de tarjeta con Nvidia Tensor Cores.
En cuanto a sus posibles aplicaciones, Nvidia afirma que Instant NeRF facilitará el «entrenamiento de robots y automóviles autónomos» para identificar con precisión objetos en el mundo real a través de sus imágenes 2D simples. También puede ayudar a crear representaciones digitales de entornos reales más fácilmente que las tecnologías actuales. Con el metaverso y otras tecnologías inmersivas ganando terreno rápidamente, es posible que Nvidia haya creado una herramienta muy importante en el momento adecuado.
