Bienvenidos, hoy nos sumergiremos en el apasionante mundo del modelado 3D y las técnicas que lo hacen posible. En el ring de la tecnología enfrentamos a dos fuertes contendientes: la Fotogrametría y el Gaussian Splatting. Y como no hay mejor forma de comparar que en la práctica, lo haremos a través de un proyecto que realizamos en la «Torre de la Isleta» en El Campello, grabando con un dron durante una mañana de Noviembre. Juzgaremos sus rendimientos, ventajas, inconvenientes y resultados. ¿Estás listo para este duelo tecnológico? ¡Empecemos!

El proyecto: Reviviendo la historia con drones y tecnología 3D

Bienvenidos a una pequeña crónica de cómo una mañana de Noviembre se convirtió en una aventura tecnológica inolvidable. En compañía de mi amigo Carlos Esteve y equipados con su valiente dron DJI Mavic Mini, nos dirigimos a la encantadora localidad de Campello. El objetivo del día no era otro que una bella y robusta dama con años a sus espaldas, la Torre de la Isleta.

Como buenos amantes de la historia, es imposible resistirse a la tentación de aprender más sobre este monumento. Y qué mejor forma de hacerlo que a través de la captura y el modelado 3D. Ahora, no os voy a abrumar con demasiados datos, esto no es una clase de historia antiquísima, simplemente recordemos que la Torre de la Isleta, con su aparente simplicidad, cautiva con su textura y colorido.

Volar un dron alrededor de un torreón no es precisamente un paseo en el parque, mucho menos si el viento decide unirse a la fiesta. Pero contábamos con un dron de control de estabilidad, por lo que no hay viento lo bastante fuerte que nos haga desistir de nuestro cometido.

Después de una serie de barridos alrededor del torreón y tres asaltos específicos a las escaleras, llegamos a casa con una gran cantidad de material que serviría de campo de batalla para la Fotogrametría y el Gaussian Splatting. Descubriremos, juntos, quién destaca en esta amigable contienda tecnológica.

Software: Los magos detrás del telón

Tras una inolvidable mañana capturando los detalles de la Torre de la Isleta, era momento de dejar que la magia de los algoritmos y el procesamiento gráfico hiciesen su tarea. A pie del monumento se había forjado la primera etapa, ahora en la tranquilidad de mi escritorio, comenzaba la verdadera aventura tecnológica.

Empecé con Adobe Premiere, un gigante de la edición audiovisual, que me permitió extraer los fotogramas del video de manera detallada. Vale la pena destacar que aunque Agisoft Metashape tiene la capacidad de convertir video en fotogramas, opté por emplear Premiere debido a que ya había extraído los fotogramas para diferentes pruebas con otros programas de fotogrametría, como Meshroom y VirtualSFM.

Agisoft Metashape fue el siguiente paso en el camino, otra herencia valiosa en el mundo de la fotogrametría. Lo defino sin dudar como el mejor, aunque confieso que aún me falta explorar todas sus herramientas a su máxima capacidad.

En el terreno del modelado 3D, Luma, una creación reciente de Lumalabs.ai, me invitó a conocer un camino novedoso con su herramienta «Luma Interactive Scenes», basada en el uso de Gaussian Splatting. Una tecnología que combina la representación en tiempo real con la potencia del procesamiento en la nube. Lo mejor de todo, ¡es gratuita de momento!

Finalmente, toda esta vorágine de procesos necesita un escenario donde lucirse. Aquí es donde Unity cobró protagonismo. Como fiable plataforma para la creación de mundos 3D, me permitió darle forma a este proyecto, insertando el modelo y logrando el recorrido interactivo que buscaba.

Así, entre programas y plataformas, fui hilvanando cada etapa de este proyecto. Ahora solo queda sumergirnos en los pormenores de Gaussian Splatting y la Fotogrametría. ¡Comencemos!

Gaussian Splatting: una revolución a todo color

En una esquina del ring, tenemos al revolucionario Gaussian Splatting. La primera impresión que nos da esta tecnología puede definirse como un «Efecto Wow» inmediato. Pero no adelantemos acontecimientos, primero explicaré un poco más sobre qué es Gaussian Splatting para aquellos que se están iniciando en este avance tecnológico.

Gaussian Splatting es una técnica que genera una representación 3D de un objeto a partir de secuencias de imágenes tomadas desde diferentes ángulos. Lo interesante es que, en lugar de triangular los puntos (como se hace en la fotogrametría), se utiliza para renderizar cada uno por separado, alcanzando su máximo cuando consigue que los ‘brochazos’ que genera tengan su propia reflexión.

Aunque la grabación del Torreón fue más un pasatiempo que un proyecto profesional metódicamente planeado, Gaussian Splatting nos entrega unos resultados que merecen un análisis más profundo.

Pros

  • El nivel de detalle del sujeto principal es impresionante.
  • No necesitas conocimientos técnicos avanzados para conseguir un modelo compartible en las redes sociales, por ejemplo. Con la plataforma Lumalabs, esto es posible.
  • La exportación a formato OBJ para Unity es bastante aceptable. Exporta el sujeto principal y elimina bastante las aberraciones.
  • La calidad de las formas con un zoom previo a la vista es superior a la fotogrametría.
  • Funciona en la nube, por lo que no necesitas un hardware específico.
  • Es gratuita de momento, aunque esto puede cambiar a medida que evolucione la tecnología (intuyo que están usando los archivos de los usuarios para entrenar y mejorar la IA que se ocupa de realizar el trabajo, pero tarde o temprano, será un SaaS como cualquier otro proyecto de IA).

Contras

  • El detalle del entorno deja bastante que desear, especialmente cuando te centras en un objeto específico.
  • Genera aberraciones debido a la óptica de la lente, contraluces, entre otros factores.
  • Necesitas conocimientos técnicos más avanzados para editar estos modelos y usarlos en aplicaciones como Unity, Blender, entre otros.
  • No permite edición del modelo resultante.
  • La opción de exportación sólo permite parametrizar la calidad en «bajo / medio / alto».
  • En la exportación del objeto 3D se pierde la calidad de la malla.

Fotogrametría: la vieja confiable

Agisoft Metashape: Detalle de los barridos realizados con el dron

Pasamos ahora a ocuparnos de la otra contendiente en este duelo tecnológico, una vieja conocida en el dominio del modelado 3D: la Fotogrametría. Esta técnica se basa en la idea de obtener información sobre la forma y las características de un objeto a través de mediciones realizadas en varias fotografías.

La Fotogrametría ha sido una compañera fiel a lo largo de mis aventuras 3D, gracias a su habilidad para generar modelos sumamente detallados y de gran calidad. Aunque admito que hasta la escalera de la Torre de la Isleta ha sido un reto que se me ha resistido. Se podría trabajar como un objeto separado, con la máxima calidad y luego unirlo dentro del propio Unity, o desde Metashape, uniendo los «chuncks» (dividen proyectos, facilitando la gestión y el procesamiento de datos al enfocarse en áreas específicas y posteriormente permite fusionar ambas unidades en una sola _ en este caso, el detalle de la escalera, con muy alta calidad, uniéndola a al torreón). De todas formas, el resultado con Gaussian Splatting parece que fue mucho peor (en su versión 3D, no en el visor de Luma AI)

Comparativa de la "dichosa" escalera

Pros

  • Con un nivel de conocimientos medios, la fotogrametría puede generar modelos 3D de calidad aceptable, exportables a plataformas como Unity.
  • Aunque existen programas gratuitos para fotogrametría, desde mi experiencia, Agisoft Metashape (aunque costoso), resulta más preciso y versátil.
  • Ofrece la posibilidad de edición in-app previa a la generación de la malla y las texturas.
  • Sus opciones de ajuste permiten optimizar la calidad de los objetos generados según necesidades o requerimientos específicos del proyecto.
  • Por norma general, su calidad suele ser mayor que la de Gaussian Splatting. Al menos, a día de hoy.

Contras

  • La versión profesional de Agisoft Metashape tiene un coste de 3500$, y la estándar de 179$. Dependerá de cada uno juzgar si esta inversión es rentable o no.
  • Necesitas un nivel de conocimiento medio para poder sacarle provecho al programa.
  • Requiere un hardware potente para obtener resultados de alta calidad.
  • En general, podrías necesitar dedicar más tiempo y esfuerzo para conseguir resultados similares a los de otras técnicas, como Gaussian Splatting.

Uso en mundo 3D: Poniendo a prueba las bestias

Una vez generados nuestros modelos 3D con Gaussian Splatting y Fotogrametría, era hora de ver cómo se comportaban al insertarlos en un mundo 3D con Unity.

El objeto 3D generado por Gaussian Splatting pesaba 167 Mb, mientras que el de la Fotogrametría se quedó un poco por detrás con 159 Mb.

Es interesante mencionar que el modelo obtenido con Gaussian Splatting no mantenía las proporciones del objeto real, lo que resultó en un objeto visualmente más pequeño que el generado por Fotogrametría.

Diferencia entre modelo de Gaussian Splatting y Fotogrametría

En cuanto a la calidad visual, la Fotogrametría superó a Gaussian Splatting. Sin olvidar que el modelo de Gaussian Splatting fue un regalo por parte de Luma AI, que sufre un proceso de conversión a malla y texturas. A pesar de eso es sorprendente lo aceptable del resultado en este proceso.

Comparativa entre resultados de Fotogrametría vs. Gaussian Splatting

Por otro lado, existe un proyecto en Github para importar la «nube de puntos» que genera Gaussian Splatting directamente a Unity. A pesar de que aún no lo he probado (y prometo hacerlo), creo que el peso del fichero puede ser un desafío para Unity. Además, aún no conozco herramientas para limpiar las posibles aberraciones del modelo en este formato.

En resumen, aunque Gaussian Splatting aporta un impresionante «Efecto Wow» al verlo por primera vez en el interfaz de Luma AI, su calidad y funcionalidad en un entorno 3D, como Unity, puede verse limitada. Mientras tanto, la Fotogrametría sigue demostrando ser un recurso sólido y confiable, aunque quizás un poco más exigente en términos de tiempo y recursos.

Resumen: Una amigable batalla de gigantes tecnológicos

Aunque la Fotogrametría es una técnica ya conocida en el campo del modelado 3D que sigue ofreciendo resultados de gran calidad, Gaussian Splatting ha irrumpido con fuerza, ofreciendo una nueva manera de modelizar objetos, de manera más sencilla y accesible.

La impresión inicial que ofrece Gaussian Splatting es innegable, especialmente cuando se generan modelos de un objeto específico. Pero la calidad y nivel de detalle del entorno que ofrece la Fotogrametría sigue siendo superior, por ahora.

No obstante, cada proyecto tiene sus requerimientos y necesidades específicas. No es lo mismo crear un objeto decorativo para una escena 3D, que modelar un objeto grande como un monumento histórico que requiere una gran cantidad de detalle.

A nivel personal, Gaussian Splatting es una tecnología que seguiré explorando, especialmente para escanear objetos pequeños, ya que su facilidad de uso podría ser un gran aliado. Sin embargo, para los proyectos complejos, me seguiré apoyando en la confiable Fotogrametría.

Recordemos, siempre debemos escoger la tecnología que mejor se ajuste a nuestras necesidades, recursos y habilidades.

El futuro es brillante

Estas tecnologías nos ofrecen un sinfín de posibilidades para plasmar la realidad en el mundo digital. Cada una con sus pros y contras, y cada una evolucionando a un ritmo acelerado. Así que aunque hoy la Fotogrametría pueda parecer la ganadora en algunos aspectos, quién sabe qué avances espera a la vuelta de la esquina a Gaussian Splatting.

Espero que este recorrido haya sido útil e interesante, como una pequeña guía a un mundo de posibilidades. Eso fue todo por ahora y ¡nos vemos en la próxima aventura!