Aparece una “nueva solución de reconstrucción 3D”, los creadores de AR y VR marcan el comienzo de la primavera

No hace mucho, un grupo de investigadores de la Universidad de Washington lanzaron una nueva tecnología experimental. Esta tecnología puede cortar personajes directamente a partir de imágenes estáticas en 2D y convertirlas en animaciones en 3D, introduciendo en última instancia información en el mundo real en forma de AR. Esta tecnología, llamada Photo Wake-Up, es adecuada para fotografías, carteles e incluso graffitis. Puede dar vida a Pinochos incrustados, permitiendo que estos gráficos caminen, corran o incluso salten libremente en entornos reales.

"Creemos que este enfoque no sólo proporcionará nuevas formas para que las personas vean e interactúen con las fotos, sino que también brindará una nueva forma de reconstruir avatares virtuales basados ​​en una sola imagen, e incluso es posible. para conocer el verdadero estado del modelado artístico humano a partir de una sola fotografía”

De hecho, no se plantea la idea de reconstruir un modelo 3D a partir de imágenes 2D. Hace más de diez años, el equipo de reconstrucción 3D de Stanford dirigido por Andrew Ng estudió este tema. Sin embargo, las soluciones que surgen esta vez son más poderosas (o se necesitan con más urgencia) que nunca y están estrechamente relacionadas con los problemas actuales de suministro de contenido en la industria juvenil de realidad virtual y realidad aumentada.

Hasta ahora, la mayoría de los modelos 3D utilizados para contenido de realidad virtual y realidad aumentada todavía son creados manualmente por artistas 3D, lo cual es una tarea que requiere mucho tiempo, es costosa y no escalable. Además, todavía existe un problema de escasez de talento en la industria y este problema no se puede aliviar a escala. Debido a esto, varios repositorios 3D representados por Sketchfab son muy populares, donde los artistas pueden publicar, compartir, descubrir, comprar y vender diversos contenidos 3D, VR y AR.

A pesar de esto, la comunidad de creadores todavía está ansiosa por deshacerse de su dependencia del trabajo humano y espera obtener mejores beneficios de las herramientas que brindan capacidades de automatización. En concreto, estas herramientas deben ser capaces de crear atajos y “trucos” que aceleren y mejoren significativamente el proceso creativo.

Al respecto, Jan-Michael Trssler, fundador y CEO de Trnio, dijo: "Para un mundo verdaderamente inmersivo, los mejores creadores de contenido necesitan usar mucha tecnología y software para crear Elementos reales. He visto a muchos artistas usar la fotografía para medir y capturar objetos, y luego usar esto como punto de partida para crear modelos 3D. Luego, los artistas simplifican y optimizan los elementos de los activos para que puedan usarse en motores AR/VR. >

Hoy en día, la tecnología de escaneo 3D representada por la fotogrametría y la captura de volumen continúa desarrollándose en términos de calidad de salida y continúa acortando el ciclo de producción de modelos 3D, lo que hace que el mundo real se vuelva cada vez más complejo cuanto más fácil es. convertirse en una fuente directa de trabajo de creación de modelos 3D. Este tipo de tecnología puede ayudar a los creadores actuales, e incluso a los recién llegados que estén interesados ​​en sumarse, o a los potenciales participantes que aún dudan, a completar más fácilmente la imagen que tienen esbozada en su mente.

Charles Carriere, fundador y presidente de Scandy de Nueva Orleans, señaló: “Creemos que la mayoría de los creadores de contenido en realidad no están explorando el contenido 3D porque carecen de las herramientas. De hecho, casi todo el contenido que se crea existe. en 2D porque todos tienen fácil acceso a herramientas 2D, entre ellas la cámara del teléfono que impulsa a estos gurús altamente creativos de Snapchat, Instagram y YouTube. Con plataformas y herramientas para crear modelos 3D, el contenido 3D de alta calidad crecerá a pasos agigantados. una tasa explosiva y atraer a más consumidores”.

Basándonos en la situación real del pasado, tales expectativas son obviamente muy poco realistas. Sin embargo, la aparición de tecnologías de reconstrucción 3D como Photo Wake-Up hace que las imágenes, los activos e incluso las bibliotecas de recursos 2D se conviertan en una fuente inagotable de suministro de material. Los modelos 3D se pueden generar de forma casi totalmente automática y aplicarse rápidamente a escenas de experiencias inmersivas. De hecho, esta tecnología no sólo permite que toda la industria se ponga al día, sino que incluso se espera que desencadene una explosión de vida similar al Cámbrico en el campo inmersivo.

Centrandonos en el presente, el campo del comercio minorista y de compras de RA se convertirá en la primera cabeza de playa importante. Un equipo de empresarios de alto nivel, incluidos ex alumnos de Apple, Facebook, PayPal y muchos doctores de la Universidad de Stanford, hicieron recientemente su aparición colectiva como participantes de Threedy.ai. Threedy.ai es una startup tecnológica profunda que se especializa en resolver problemas de suministro de contenido 3D.

Nima Sarshar, cofundadora y directora ejecutiva de Threedy.ai, explicó: “Puede pensar que los fabricantes que crean estos productos ya deben tener los materiales de modelo 3D correspondientes, pero los hechos nos dicen que, aunque existen son archivos CAD relacionados, los fabricantes relevantes están dispuestos a hacerlos públicos y usarlos para generar mallas 3D, pero faltan las texturas o materiales correspondientes. Además, no existe un flujo de trabajo de creación de modelos AR unificado que pueda digerir la información del archivo. seis importantes proveedores de CAD. Las herramientas específicas de cada proveedor y más de 14 formatos de archivos se están subcontratando en gran medida en toda la industria manufacturera”.

Por ejemplo, la aplicación Houzz AR permite a los usuarios personalizar texturas según el tamaño y el color. Los indicadores ven los muebles de la habitación. El desafío es que todas las principales aplicaciones de compras de realidad aumentada, incluidas Houzz, Wayfair y Overstock, solo tienen una pequeña parte de su inventario de modelos 3D. En concreto, Houzz tiene sólo el 3% de los modelos 3D de toda la categoría de mobiliario de restauración.

Sarshar explicó: “Nuestro objetivo es convertirnos en el sitio web de Getty Images en el campo de los modelos 3D de productos comerciales. Puedes imaginar que en el futuro, tal vez cada artículo del catálogo de Amazon tenga su correspondiente 3D. modelo, de modo que ¿Qué tamaño tendrá la biblioteca de recursos?

Su primer producto es Threedy Convert, que puede tomar fotografías 2D comunes de productos y muebles para el hogar y convertirlas automáticamente en modelos 3D de alta calidad. Esta tecnología se puede aplicar en lotes a una gama cada vez mayor de categorías de productos, a menudo requiere solo una fotografía del producto y el costo total de implementación es casi dos órdenes de magnitud más barato que las soluciones existentes.

Sarshar señala: “El escaneo puede proporcionar una mayor calidad, pero todo el proceso sigue siendo muy tedioso y costoso. Además, la conversión de resultados de escaneo con muchos polígonos a modelos con pocos polígonos adecuados para XR nunca es posible. Fácil. También hay un problema importante: para la mayoría de los sitios web de comercio electrónico, no tenemos ningún objeto físico correspondiente, sino solo un número limitado de fotografías de productos no estructurados”

Esto es bajo. Como punto de partida, el método para ayudar a crear materiales de alta dimensión es sorprendente y seguramente será buscado con entusiasmo por el mercado. Esta tecnología no es una solución a corto plazo, sino que representa un nuevo canal de conversión de contenidos. A medida que las industrias de VR y AR continúan desarrollándose y cambiando, se espera que estos contenidos lleven completamente la experiencia de renderizado al público en general en el momento adecuado; personalmente soy optimista de que esto pueda suceder dentro de este año.