Visitas a la Casa Familiar
Cuando visité recientemente a mi madre anciana en Alemania, me di cuenta de que podría ser una de las últimas veces que la vería en la acogedora casita que ha llamado hogar durante más de dos décadas. Así que hice lo que cualquiera haría: saqué mi teléfono y tomé muchas fotos del lugar para preservar tantos recuerdos como fuera posible: la cálida chimenea; las estanterías llenas de libros familiares; el viejo banco de jardín frente a la casa que todos firmaron durante una celebración especial de cumpleaños hace muchos años.
Captura en 3D con Scaniverse
Luego, intenté algo diferente. Abrí Scaniverse, una aplicación de escaneo 3D del creador de Pokémon Go, Niantic, y capturé algunas de esas cosas como objetos en 3D, agachándome y caminando de puntillas alrededor de ellas mientras movía lentamente mi teléfono para registrar cada ángulo y centímetro. Los resultados fueron un poco imperfectos en los bordes, pero aún así se sintieron profundos. Cuando abrí los escaneos más tarde, tanto en mi teléfono como con un visor de realidad virtual, pude ver ese desgastado banco de jardín desde todos los ángulos, como si estuviera parado justo frente a él. La experiencia me conmovió emocionalmente de maneras para las que no estaba preparado.
La Innovación de Gaussian Splatting
Esa experiencia fue posible gracias al Gaussian splatting, un nuevo método de captura 3D que fue inventado hace menos de dos años y ya está revolucionando la industria tecnológica. Tanto Niantic como Google lo están utilizando para desarrollar sus respectivos productos de mapeo; Snap ha añadido soporte para “splats” —que es como se llaman coloquialmente los objetos capturados con Gaussian splatting— en su plataforma de desarrollo Lens Studio, y Meta quiere utilizar Gaussian splatting para crear un metaverso que se asemeje al mundo real.
Las empresas tecnológicas están encantadas con Gaussian splatting por su capacidad para capturar fotorealísticamente y luego recrear objetos tridimensionales de manera digital. Esto podría permitir pronto a cualquier persona escanear habitaciones enteras y cambiar la forma en que los creativos de Hollywood y más allá graban video 3D. Cuando se combina con inteligencia artificial generativa, tiene el potencial no solo de preservar espacios existentes, sino también de transportarnos a mundos 3D completamente nuevos. “Es un gran cambio”, dijo el experto en AR/VR Tipatat Chennavasin. “Estamos comenzando a tener un holodeck fotorealista”.
Construyendo un Mapa 3D del Mundo
Capturar objetos en 3D, incluso con tu teléfono, no es nuevo. Sin embargo, la mayoría de los esfuerzos anteriores dependían de polígonos, el tipo de mallas triangulares que has visto si alguna vez has utilizado una aplicación de AR móvil. La captura y reconstrucción en 3D basada en mallas poligonales es suficiente para objetos básicos con superficies planas, pero puede tener dificultades con texturas detalladas y una iluminación compleja. Los objetos capturados de esta manera a menudo parecen plásticos y no reales. “Era prometedor en su momento, pero siempre tuvo grandes limitaciones”, dijo Chennavasin.
Todo eso cambió en el verano de 2023, cuando un grupo de científicos europeos publicó un artículo sobre algo que llamaron “Gaussian splatting 3D”. Su enfoque fue abandonar las mallas y en su lugar capturar objetos 3D como una colección de manchas borrosas y translúcidas, también conocidas como Gaussians. Cada una de estas manchas se captura con información exacta sobre su color, ubicación, escala, rotación y nivel de transparencia, y cuando combinas millones de ellas, obtienes una imagen mucho más detallada de un objeto 3D que también detalla cómo se ve desde cualquier ángulo dado.
Captura de Video en 3D con Gaussian Splatting
Los “splats” Gaussian no son solo para capturar contenido estático. La startup de visión por computadora Gracia AI ha estado utilizando la tecnología para grabar videos volumétricos en 3D, que pueden ser vistos en los visores Meta Quest. Uno de esos clips muestra a un chef preparando una comida. Gracia grabó este video en un estudio profesional de captura 3D, utilizando una serie de 40 cámaras apuntadas al chef desde todos los ángulos. Con los splats Gaussian, todas las limitaciones de los códigos de vestimenta ya no son un problema, permitiendo más libertad creativa en la captura de video 3D.
Planes Ambiciosos de Meta
Una de las demostraciones más ambiciosas de Gaussian splatting hasta la fecha ha sido construida por Meta. Hyperscape, que la compañía presentó en su conferencia Meta Connect, es una aplicación para los visores Quest que permite a los usuarios explorar representaciones 3D fotorealistas. La aplicación se lanzó con seis espacios escaneados, incluidos cinco estudios de artistas y una sala de conferencias en el campus de Meta que alguna vez sirvió como oficina de Mark Zuckerberg.
Hyperscape te permite moverte libremente en estos espacios, lo que resulta ser una experiencia fascinante con este tipo de fidelidad visual. Sin embargo, en este momento, Hyperscape no es más que una demostración técnica personalizada. Aunque Meta tiene grandes planes para los “splats” Gaussian, su implementación y escalabilidad siguen siendo temas de debate.
La tecnología de Gaussian splatting avanza rápidamente. Muchos científicos están publicando nuevos trabajos sobre el tema, y la emoción en torno a su potencial es palpable. Se menciona que la combinación de “splats” y la inteligencia artificial generativa puede llevar a un futuro donde las personas comunes podrán generar espacios tridimensionales fotorealistas utilizando indicaciones de IA u otras herramientas.
Tales avances sugieren un futuro donde la creación de mundos inmersivos en realidad virtual podría convertirse en parte de la vida cotidiana. La pregunta sigue siendo: si tuvieras un holodeck, ¿a dónde irías primero?
Fuente y créditos: www.theverge.com
Cats:
