Imagina poder crear una copia en 3D de tu habitación y que además puedas moverte por ella como si estuvieses físicamente ahí. Una especie de maqueta en la que te puedes meter y moverte dentro de ella. Eso es posible desde hace ya mucho tiempo, pero al ser una tecnología que requiere un alto poder de procesamiento, no estaba disponible para usuarios comunes.
Con procesadores cada vez más potentes, pequeños y económicos, este tipo de tecnologías ya la encontramos en entornos domésticos. Hace tiempo que existen aplicaciones para realizar este tipo de tareas…yo mismo los he probado en teléfonos, en PC…etc… pero los resultados distaban mucho de ser buenos. Repito que este tipo de tareas requieren un alto nivel de procesamiento.
La técnica usada es la llamada dispersión gaussiana (gaussian splatting), que consiste en crear una malla de puntos de los objetos con tomas desde diferentes ángulos. Cuanta más densidad de puntos, mayor será la definición. Además se usan sensores de profundidad y complejos algoritmos para determinar la posición espacial de cada punto, lo que le otorga la capacidad de crear espacialidad y modelos en 3D en un entorno inmersivo.
Este tipo de modelos se usan en muy diferentes rubros. Se suelen usar en arqueología, educación, venta de inmuebles, en medicina e incluso en el ámbito militar. El poder crear modelos y escenarios en 3D realistas permite hacer todo tipo de estudios de esos elementos sin la necesidad de estar físicamente ahí. Gracias a esto, un arqueólogo puede visitar virtualmente una zona de antiguas construcciones en medio de la selva sin necesidad de ir ahí…o un museo puede crear un modelo 3D de una estatua y crear un museo virtual que todo el mundo puede visitar sin moverse de su casa…o ayudarnos a visitar el Titanic sin necesidad de ir allá abajo.
Las Meta Quest 3 y 3s tienen la capacidad de capturar el entorno con un cierto grado de espacialidad…lo suficiente como para que a través servidores de alto poder de procesamiento puedan usar esos datos capturados y crear entornos inmersivos…copias digitales tridimensionales.
Hyperscape Capture es una aplicación creada por la misma Meta que al momento de escribir esta líneas aún se encuentra en estado Beta y que al principio solo estaba disponible para USA, pero que ya se está abriendo a más países. Solo es compatible con las Meta Quest 3 y 3s con la v81 de Meta Horizon OS instalado. Usa las cámaras a color de esas gafas para capturar el entorno, algo que no se puede hacer con las cámaras de baja resolución en B/N de las Quest 2.
Su uso es muy sencillo, una vez le indicamos que queremos hacer un escaneo, un asistente nos irá diciendo lo que tenemos que hacer en cada momento con instrucciones muy simples de entender.
El proceso de escaneo de una habitación de tamaño medio o pequeño es rápido…en unos minutos tendremos todo escaneado, pero cuanto más tiempo le dediquemos a escanear cada rincón y desde más ángulos…mejores resultados conseguiremos.
El primer paso será crear una malla del espacio para detectar todos los objetos y volúmenes…muy similar a como lo hacen las Quest cuando creamos nuestro entorno seguro.
Una vez creada esta malla de volúmenes, haremos a una segunda pasada donde iremos afinando el escaneo desde diferentes ángulos (cuantos más mejor) para ubicar con más detalle los objetos de la escena y sobre todo su posición en el espacio. Y finalizaremos con una tercera pasada para refinar puntos que podrían habérsenos pasado por alto en los dos pasos anteriores.
Una vez terminados estos tres procesos, daremos un nombre a nuestra escena y se procederá a subir los datos recopilados a los servidores de Meta, que serán los encargados de procesar todos esos datos. La transferencia de datos suele llevar entre 4 y más de 10 minutos dependiendo de lo se haya escaneado (tamaño del espacio, tiempo que invertimos a los detalles…), pero el resultado final ya con toda la escena creada llevará de 2 a 8 horas, dependiendo de lo grande que sea la escena y la cantidad de datos a procesar…e imagino que dependerá también de lo saturados que estén los servidores.
Para la subida de los datos es necesario estar conectados a internet y tener las Quest encendidas, pero para el posterior procesamiento ya podemos dejar de lado las Quest porque todo se hará ya en la nube. Cuando tu creación esté disponible te enviarán una notificación a tu aplicación Meta Horizon de tu teléfono y a tus Quest.
El resultado estará disponible desde la misma aplicación y solo se podrá ver desde tus Quest.
De momento no se pueden compartir las creaciones, pero es una función que han prometido implementar en posteriores actualizaciones la de poder invitar a otros a tus entornos y convivir juntos en ese mundo creado por ti.
Desde la misma aplicación podemos abrir nuestras creaciones y navegar por ellas usando el sistema de teletransporte a diferentes zonas del escenario y tener así diferentes perspectivas del mismo escenario desde diferentes ángulos, aunque si estamos en un espacio físico sin obstáculos podemos movernos a pie libremente.
En la siguiente captura la aplicación escaneó con bastante detalle incluso a mi perro que estaba bien pelas…
Eso que ves no es una foto….es una imagen escaneada, digitalizada y convertida en una imagen digital 3D. Podemos movernos a su alrededor porque tiene volumen.
Normalmente suele ofrecer resultados impresionantes. Incluso en escaneos mal hechos o con defectos, el conjunto de la escena suele ser sorprendente. La calidad final depende mucho del tiempo invertido en el escaneo. Es importante que haya buena iluminación y que nos preocupemos de escanear la escena desde todos los ángulos, incluyendo los complicados como esquinas, la parte inferior y superior de objetos, mesas, etc…Hacer el escaneo a una velocidad lenta para dar tiempo a la aplicación para recopilar la mayor cantidad de datos y así reconocer lo más exactamente posible la escena.
En la siguiente captura se puede apreciar incluso lo que hay a través de la tela de la silla
En estas otras capturas podemos ver la misma escena. La primera se hizo con poca luz y la que había era artificial. La segunda es del mismo lugar, pero con buena luz natural y dándome más tiempo para que se escanease mejor. Podemos apreciar que en la segunda hay una mucho mejor resolución…podemos distinguir incluso las cuerdas de la guitarra.
Vuelvo a recordar que no son fotos, sino escenas en 3D navegables.
Aunque aún está en fase beta y de desarrollo, lo mostrado hasta ahora es impresionante y nos hace tener esperanzas de que será una aplicación que podría ser de utilidad para diferentes aplicaciones en nuestra vida. Sobre todo porque si esto se puede conseguir con unas modestas cámaras de 4 megapíxeles…cuando se lancen nuevos cascos de RV con mejores cámaras, las posibilidades serán mayores. De momento es solo una curiosidad, pero en el futuro podría usarse en ambientes incluso profesionales y es posible que otros desarrolladores usen estas capacidades y veamos apps para todo tipo de usos y objetivos y juegos de realidad mixta que usen estos escenarios donde los personajes podrían interactuar con los objetos de la escena de forma mucho más precisa de lo que lo hacen ahora. Los actuales juegos de realidad mixta hacen uso de nuestro entorno escaneado de las Quest cuando creamos nuestro entorno seguro o entorno del guardián. Este tipo de escaneo de entorno seguro lo que hace es interpretar nuestro entorno y hacer límites virtuales…nos dice donde hay una pared, una mesa o un mueble…pero esta nueva forma de escanear usando dispersión gaussiana va más allá y puede crear objetos con volumen. Una locura.
Sin más tema que tratar, les dejo un cordial saludo y sean felices como lombrices.
0 comentarios