¿Cuáles son las similitudes y diferencias entre Magic Leap, que conmocionó al mundo, y las Hololens de Microsoft?
Primero déjame hablar sobre mis fuentes de información sobre Magic Leap:
1 El 10 de noviembre de 2014, Magic Leap llegó a Stanford después de recaudar 500 millones en septiembre de 2014. Reclutando personas. , abrió una Sesión de Información, el título es "El mundo es tu nuevo escritorio" (El mundo es tu nuevo escritorio) ¡Qué dominante! En ese momento, el vicepresidente senior de investigación de percepción (VP de Percepción) de Magic Leap, Gary Bradski, y el líder técnico de visión computacional (líder de visión por computadora), Jean-Yves Bouguet, vinieron a dar discursos. Gary es un líder en el campo de la visión por computadora. Creó OpenCV (Biblioteca de herramientas de visión computacional) en Willow Garage y también es profesor consultor en Stanford. Jean-Yves fue originalmente responsable de la fabricación de Google Street View Car en Google y era un maestro en tecnología de visión computacional. Es bastante impactante que se unan a Magic Leap. Participé en esta sesión informativa. En ese momento, Gary presentó la tecnología de Magic Leap en la parte de detección y presentó brevemente los principios del legendario campo de luz digital Cinematic Reality. También tomó fotografías de las partes que permitían la grabación de video. La mayor parte de la información útil de este artículo proviene de este discurso.
2 A principios de este año, tomé un curso impartido por Gordon Wetzstein, profesor titular de fotografía computacional y visualización de campos de luz digital en Stanford: EE367 Computational Imaging and Display: la cuarta semana Los tres. Las secciones de Iluminación computacional, Pantallas portátiles y Bloques de pantallas (pantallas de campo de luz) hablan sobre los principios de Magic Leap. Ahora también puedes ir al sitio web de este curso para ver estos materiales, EE367 / CS448I: Computational Imaging and Display
Por cierto, permíteme presentarte al grupo de gráficos computacionales de Stanford donde trabaja Gordon, Marc Levoy (quien más tarde fue a construir Google Glass El profesor Daniel ha estado comprometido con la investigación de campos de luz, desde Marc Levoy proponiendo cámaras de campo de luz, hasta su alumno Ren Ng fundando la compañía Lytro para fabricar cámaras de campo de luz, hasta ahora el profesor Gordon que fabrica pantallas de campo de luz (luz desnuda). visualizaciones 3D de campo), este grupo ha sido líder mundial en la investigación sobre campos luminosos. Y Magic Leap puede estar convirtiéndose en la mayor aplicación de pantallas de campo de luz. (Para contenido relacionado, consulte: Descripción general de la investigación de imágenes computacionales)
3 Este año participé en el Taller sobre imágenes de campos de luz, un seminario sobre tecnología de imágenes de campos de luz. En el sitio, muchos expertos en tecnología de campo de luz y yo. Los expertos en tecnología de visualización de campo intercambiaron sus puntos de vista sobre Magic Leap. En particular, experimenté una demostración de tecnología de campo de luz cercana a Magic Leap, las pantallas de campo de luz cercanas al ojo de Douglas Lanman de Nvidia. (Para contenido relacionado, consulte: Pantallas de campo de luz cercana al ojo)
4. Visité el Instituto de Investigación de Microsoft en Redmond a mediados de este año, Richard Szeliski, el investigador principal del instituto (visión por computadora). maestro y autor del libro de texto de visión por computadora, Visión por computadora: algoritmos y aplicaciones), probemos Hololens. Experimente la increíble tecnología de detección de posicionamiento de Hololens.
Existe un acuerdo de confidencialidad, por lo que este artículo no proporciona detalles, pero proporciona una comparación principal con Magic Leap.
Aquí hay información útil:
En primer lugar, aprendamos sobre las gafas AR como Magic Leap y Hololens, que están diseñadas para permitirle ver objetos que no existen en realidad e integrarlas con las imágenes del mundo real e interactuar con ellas. Técnicamente hablando, puede verse simplemente como dos partes:
Percepción del mundo real (Percepción);
Una pantalla montada en la cabeza para presentar imágenes virtuales (Display).
Explicaré las tecnologías relacionadas de Magic Leap por separado en términos de percepción y visualización.
1. Parte de visualización
Primero responda brevemente esta pregunta:
P1. ¿Cuál es la diferencia entre Hololens y Magic Leap? ¿Cuál es el principio esencial de Magic Leap?
En términos de percepción, en realidad no hay mucha diferencia entre Hololens y Magic Leap en términos de dirección técnica. Ambas son tecnologías de posicionamiento de percepción espacial. Este artículo se centrará en esto más adelante. La mayor diferencia entre Magic Leap y Hololens debería provenir de la pantalla. Magic Leap utiliza fibra óptica para proyectar directamente todo el campo de luz digital a la retina para producir la llamada Realidad Cinematográfica (realidad a nivel de película). Hololens utiliza un cristal semitransparente para mostrar la proyección DLP desde un lado. Los objetos virtuales son siempre reales. Es similar a la pantalla de gafas de Espon o a la solución Google Glass del mercado. Es una pantalla bidimensional. , unos 40 grados, y proporciona una sensación de inmersión. Habrá descuento.
El principio físico esencial es: la propagación de la luz en el espacio libre puede representarse de forma única mediante un campo de luz de 4 dimensiones. Cada píxel del plano de imagen contiene información sobre la luz en todas las direcciones hacia este píxel. Para el plano de imagen, la dirección es bidimensional, por lo que el campo de luz es de cuatro dimensiones. El proceso de obtención de imágenes habitual sólo realiza una integración bidimensional del campo de luz de cuatro dimensiones (la información de la luz en todas las direcciones en cada píxel se superpone en un píxel). La visualización tradicional muestra esta imagen bidimensional con otra bidimensional). pérdida de información de dirección. Magic Leap proyecta directamente todo el campo de luz de 4 dimensiones en su retina, por lo que no hay diferencia matemática entre los objetos que las personas ven a través de Magic Leap y los objetos reales, y no hay pérdida de información. En teoría, con los dispositivos de Magic Leap, no se puede diferenciar entre objetos virtuales y objetos reales.
La diferencia más obvia entre el uso del equipo de Magic Leap y otras tecnologías es que el ojo humano puede seleccionar directamente el enfoque (enfoque selectivo activo). Por ejemplo, si quiero mirar un objeto cercano, el objeto cercano aparecerá real, mientras que el objeto lejano aparecerá virtual. Nota: Esto no requiere ninguna tecnología de seguimiento del ojo humano, porque el campo de luz proyectado restaura toda la información, por lo que el usuario puede ver directamente lo que ve el ojo humano, como si fueran objetos reales. Por ejemplo: alrededor de 27 segundos después del video del sistema solar virtual (como el gif a continuación), la cámara perdió el enfoque y luego volvió a enfocar. Este proceso solo ocurre en la cámara y no tiene nada que ver con el equipo de Magic Leap. En otras palabras, el objeto virtual está ahí y depende del observador cómo verlo. Aquí es donde Magic Leap es increíble, por lo que Magic Leap llama a sus efectos Realidad Cinematográfica.
P2. ¿Cuáles son los beneficios del enfoque selectivo activo? ¿Por qué se siente mareado con la tecnología de visualización virtual tradicional? ¿Cómo resuelve Magic Leap este problema?
Como todos sabemos, la percepción de profundidad de los ojos humanos depende principalmente del posicionamiento de triangulación (posicionamiento binocular, señal de triangulación) entre los dos ojos y el objeto observado para percibir la distancia entre el objeto observado y el observador. . Pero la triangulación no es la única pista para la percepción humana de la profundidad. El cerebro humano también integra otra pista importante para la percepción de la profundidad: el cambio en la nitidez del objeto (nitidez o señal de enfoque) causado por el enfoque del ojo humano. Sin embargo, los objetos de la tecnología de visualización virtual binocular tradicional (como Oculus Rift o Hololens) no son virtuales ni reales.
Por ejemplo, como se muestra a continuación, cuando ves el castillo en la distancia, el gato virtual cercano debería ser virtual. Sin embargo, en la tecnología de visualización tradicional, el gato sigue siendo real, por lo que tu cerebro se confundirá y pensará que un gato es un. Objeto muy grande muy lejos. Pero esto es inconsistente con el resultado de su posición binocular. Después de millones de años de evolución, el programa cerebral pensará que el gato está cerca y lejos. Si va y viene, su cerebro se quemará y vomitará. . Magic Leap proyecta todo el campo de luz, por lo que puedes enfocar de forma activa y selectiva. El gato virtual se coloca cerca. Cuando lo miras, es real. Cuando miras el castillo, es virtual y real. , para que no te desmayes. Durante el discurso, Gary bromeó diciendo que para un tipo como Jean-Yves que vomitaba después de usar Oculus durante 10 minutos, ahora puede usar Magic Leap durante 16 horas al día sin marearse.
Suplemento: Alguien preguntó por qué la gente en línea dice que los mareos en la realidad virtual se deben a una velocidad de fotogramas insuficiente.
Aunque la velocidad de fotogramas y el retraso son los principales problemas en la actualidad, no son un problema demasiado grande ni son los factores decisivos que provocan mareos. Estos problemas se pueden solucionar fácilmente con tarjetas gráficas más rápidas, una buena IMU y buenas pantallas, así como algoritmos de predicción del movimiento de la cabeza. Tenemos que preocuparnos por algunos problemas esenciales de mareos.
Aquí hablamos de la diferencia entre realidad virtual y realidad aumentada.
En la realidad virtual, los usuarios no pueden ver el mundo real. El mareo a menudo es causado por una falta de coincidencia entre el movimiento sentido por los canales semicirculares del oído interno, que detecta la gravedad y la aceleración, y el movimiento visto visualmente. Por lo tanto, los juegos de realidad virtual a menudo te hacen sentir mareado y te dan ganas de vomitar. Este problema no se puede solucionar con un solo dispositivo. Si efectivamente el usuario está sentado y la imagen se mueve a gran velocidad, ¿qué dispositivo puede engañar a los canales semicirculares de su oído interno? Algunas soluciones en el mercado, como Omni VR o sistemas de realidad virtual con seguimiento como HTC Vive, permiten caminar para resolver este problema de desajuste, pero estos sistemas están limitados por el lugar. Sin embargo, la aplicación THE VOID hace buen uso de las limitaciones de la realidad virtual. No necesariamente requiere correr y saltar. Puede usar un espacio pequeño para crear una escena grande, haciéndote pensar que estás en una escena grande. Hoy en día, la mayoría de las experiencias de realidad virtual o películas panorámicas moverán la perspectiva a una velocidad relativamente lenta; de lo contrario, vomitarás.
Pero Magic Leap es realidad aumentada con AR. Debido a que puede ver el mundo real, no hay problema de desajuste en la percepción de los canales semicirculares del oído interno. Para AR, el principal desafío es resolver el problema de los cambios de nitidez entre los objetos proyectados frente a usted y los objetos reales. Entonces la solución dada por Magic Leap resuelve muy bien este problema. Pero todo esto es teórico. En cuanto a las capacidades reales de ingeniería, el tiempo lo demostrará.
P3. ¿Por qué hay una pantalla montada en la cabeza? ¿Por qué no la holografía a simple vista? ¿Cómo lo implementa Magic Leap?
El ser humano lleva cientos de años deseando poder ver un objeto virtual de la nada. Muchas imágenes holográficas en el aire también han aparecido en varias películas de ciencia ficción.
Pero, de hecho, si piensas en la esencia, sabrás que esto es físicamente difícil de lograr: no existe ningún medio en el aire puro que pueda reflejar o refractar la luz. Lo más importante a la hora de mostrar algo es el medio. Hay muchos rumores locos en WeChat, que piensan que Magic Leap no requiere gafas. Supongo que se debe a un error de traducción. El video dice Filmado directamente a través de la tecnología Magic Leap y muchos artículos lo traducen incorrectamente como "ver directamente". " o "holografía a simple vista", de hecho, el vídeo fue capturado por la cámara a través de la tecnología de Magic Leap.
En la actualidad, la holografía se encuentra básicamente todavía en la era de la película holográfica (como se muestra a continuación, la pequeña estatua de Buda de la película holográfica que vi en el seminario sobre el campo de luz), o el tipo de matriz de proyección utilizada en Hatsune. Conciertos de Miku. Pseudo holograma hecho de vidrio especial (que solo muestra imágenes desde un ángulo específico e ignora la luz de otros ángulos).
Lo que Magic Leap quiere lograr es convertir el mundo entero en tu escritorio. Entonces, en lugar de construir pantallas holográficas transparentes en 3D como Hatsune Miku en varios lugares del mundo como medio o obtener películas holográficas, sería más fácil comenzar con el ojo humano y proyectar todo el campo de luz directamente frente a nuestros ojos. De hecho, Nvidia también fabrica este tipo de gafas de campo ligeras.
El método utilizado por Nvidia consiste en añadir una matriz de Microlens delante de una pantalla bidimensional para generar un campo de luz de 4 dimensiones. Es equivalente a mapear píxeles 2D en 4D. La resolución natural no será alta, por lo que la resolución de este tipo de pantalla de campo de luz o cámara (Lytro) no será alta. Lo probé personalmente y el efecto es básicamente como mirar un patrón de estilo mosaico.
Magic Leap utiliza un método completamente diferente para lograr la visualización del campo de luz, utilizando proyección de fibra óptica. Sin embargo, el método de proyección de fibra óptica utilizado por Magic Leap no es nuevo. La persona que trabaja en el proyector de fibra óptica en Magic Leap es Brian Schowengerdt. Su mentor es Eric Seibel, profesor de la Universidad de Washington, que lleva 8 años trabajando en endoscopios de fibra de ultra alta resolución. El principio simple es que el haz de fibras ópticas gira a alta velocidad en una tubería de 1 mm de diámetro, cambia la dirección de rotación y luego escanea un rango mayor. Lo inteligente de los fundadores de Magic Leap es encontrar estos para fabricar escáneres de fibra de alta resolución. Debido a la reversibilidad de la luz, pueden darle la vuelta para fabricar un proyector de alta resolución. Como se muestra en la imagen, según su artículo de hace 6 años, una fibra óptica de 1 mm de ancho y 9 mm de largo puede proyectar una imagen de mariposa de alta definición de varios centímetros de tamaño. La tecnología actual probablemente esté mucho más allá de esa época.
Sin embargo, un proyector de fibra óptica de alta resolución no puede restaurar el campo de luz. Es necesario colocar una matriz de microlentes en el otro extremo de la fibra para generar un campo de luz de 4 dimensiones. Quizás te preguntes, ¿no es este el mismo método que el de Nvidia? No, debido a que el haz de fibras ópticas gira a modo de escaneo, no es necesario que el conjunto de microlentes sea muy denso y grande, solo necesita mostrar el área escaneada. Equivale a distribuir una gran cantidad de datos en la línea de tiempo, al igual que compartir el tiempo en las comunicaciones, porque es difícil para el ojo humano distinguir los cambios en 100 fotogramas, siempre que la velocidad de fotogramas de escaneo sea lo suficientemente alta. No puedo saber si la pantalla está girada. Entonces los dispositivos de Magic Leap pueden ser muy pequeños y tener resoluciones muy altas.
Él mismo también vino a Stanford para dar una charla sobre Pantallas 3D volumétricas cercanas al ojo utilizando luz escaneada. Esta charla debería ser sobre el primer prototipo de Magic Leap. (Para contenido relacionado, consulte: Pantallas escaneadas de fibra)
2. Parte de percepción
Primero, ¿por qué la realidad aumentada necesita una parte de percepción?
Esto se debe a que el dispositivo necesita conocer su posición en el mundo real (posicionamiento) y la estructura tridimensional del mundo real (construcción de mapas) antes de poder colocar objetos virtuales en la posición correcta en el mostrar. Tomemos como ejemplo el reciente video de demostración de Magic Leap. Hay un sistema solar virtual sobre la mesa. Cuando la cabeza del usuario se mueve, el sistema solar permanece en su lugar. dirección de la perspectiva del espectador en tiempo real, para calcular dónde se debe mostrar la imagen. Al mismo tiempo, se puede ver el reflejo del sol en la mesa. Esto requiere que el dispositivo conozca la estructura tridimensional y la información de la superficie de la mesa para poder proyectar correctamente una imagen superpuesta en la capa de imagen de la mesa. . La dificultad es cómo lograr el cálculo en tiempo real de toda la parte de detección para que el usuario del dispositivo no sienta el retraso. Si hay un retraso en el posicionamiento, el usuario se sentirá mareado y los objetos virtuales que flotan en la pantalla parecerán muy artificiales. La llamada Realidad Cinematográfica afirmada por Magic Leap no tendrá sentido.
La parte de percepción tridimensional no es algo nuevo. SLAM (Simultaneous Localization And Mapping, posicionamiento instantáneo y construcción de mapas) en visión por computadora o robótica hace esto y tiene una historia de 30 años. Mediante la fusión de varios sensores (lidar, cámara óptica, cámara de profundidad, sensor inercial), el dispositivo obtendrá la posición precisa del dispositivo en el espacio tridimensional y, al mismo tiempo, podrá reconstruir el espacio tridimensional circundante. en tiempo real.
La tecnología SLAM ha sido particularmente popular recientemente. En los últimos dos años, desde el año pasado hasta este año, los gigantes y el capital de riesgo han adquirido e implementado muchas empresas que se dedican a la tecnología de posicionamiento espacial. Porque las tres tendencias tecnológicas más potentes en la actualidad: vehículos no tripulados, realidad virtual y drones, son todas inseparables del posicionamiento espacial. SLAM es la base sobre la cual se logran estos grandes proyectos. También estudio la tecnología SLAM, por lo que estoy muy expuesto a ella. Para facilitar la comprensión de este campo por parte de todos, aquí hay algunos eventos y figuras importantes recientes en el mundo SLAM:
1. Vehículo no tripulado) El robot de Stanford, el profesor Sebastian Thrun, es el pionero de la tecnología SLAM moderna. Después de ganar la competencia de vehículos no tripulados DARPA Grand Challenge, fue a Google para construir vehículos no tripulados. La mayoría de las facciones de investigación en el círculo académico de SLAM son descendientes de Sebastián.
2. (Vehículos no tripulados) Uber ganó el NREC (Centro Nacional de Investigación y Desarrollo de Ingeniería Robótica) de Carnegie Mellon CMU este año y estableció conjuntamente el Centro de Investigación y Desarrollo de Tecnología Avanzada ATC. Estos investigadores que originalmente trabajaron en la tecnología de posicionamiento de rovers en Marte han ido a Uber ATC para trabajar en vehículos no tripulados.
3. (Realidad virtual) Surreal Vision fue adquirida recientemente por Oculus Rift. Su fundador, Richard Newcombe, es el inventor del famoso DTAM, KinectFusion (la tecnología central de HoloLens). Oculus Rift también adquirió 13th Labs (una empresa que hace SLAM en teléfonos móviles) el año pasado.
4. (Realidad virtual) Google Project Tango lanzó este año la primera tableta del mundo con funciones comerciales SLAM que puedes usar al alcance de tu mano. Apple adquirió Metaio AR en mayo. SLAM de Metaio AR se ha utilizado en aplicaciones AR durante mucho tiempo. Intel lanzó Real Sense, una cámara de profundidad que puede realizar SLAM, y demostró la función de barrera automática y la función de patrulla de línea automática del dron en CES.
5. (Drones) Skydio, fundada por Adam Bry, alumno del experto en robótica del MIT Nicholas Roy, fundador del dron Google X Project Wing, recibió una valoración de 20 millones de la inversión y la caza furtiva A16z. Frank Dellaert, un experto en SLAM de Georgia Tech, como científico jefe. (Contenido relacionado: http://www.cc.gatech.edu/~dellaert/FrankDellaert/Frank_Dellaert/Frank_Dellaert.html)
Como tecnología básica, SLAM es en realidad el SLAM o fusión de sensores más popular de la industria. En el mundo puede que no haya más de 100 personas en un buen grupo de expertos, y la mayoría se conocen entre sí. Con tantas grandes empresas compitiendo por tanta gente, uno puede imaginar lo feroz que es la competencia. Por lo tanto, como empresa emergente, Magic Leap debe recaudar grandes cantidades de capital para competir con las grandes empresas por recursos de talento.
P5. ¿Cómo es la tecnología de detección de Magic Leap?
Esta foto es del profesor Gary mostrando la arquitectura técnica y la hoja de ruta técnica de Magic Leap en la parte de detección de la feria de empleo Magic Leap de Stanford. Se puede ver que con Calibración como centro, se ha expandido a 4 pilas de tecnología de visión por computadora diferentes.
1. En la imagen, el paso central de toda la parte de detección de Magic Leap es la calibración (calibración de imagen o sensor), porque los dispositivos de posicionamiento activo como Magic Leap o Hololens tienen varias calibraciones de cámaras y sensores utilizados para El posicionamiento, los parámetros de la cámara y los parámetros de relación entre cámaras es el primer paso para comenzar todo el trabajo. Si los parámetros de la cámara y el sensor no son precisos en este paso, el posicionamiento posterior no tendrá sentido. Cualquiera que haya estado involucrado en la tecnología de visión por computadora sabe que la parte de verificación tradicional requiere bastante tiempo. Requiere usar una cámara para disparar al tablero de ajedrez y recopilar datos de verificación una y otra vez.
Pero Gary de Magic Leap inventó un nuevo método de calibración, que utiliza directamente una estructura de forma extraña como corrector. La cámara puede completar la corrección con solo una mirada, lo cual es extremadamente rápido. No se permiten fotografías en el sitio en esta parte.
2. Después de tener la parte de Calibración, comience la parte de detección y posicionamiento tridimensional más importante (la pila de tecnología en la esquina inferior izquierda), que se divide en 4 pasos.
2.1 El primero es el Seguimiento de Superficie Plana. Puedes ver en la demostración del sistema solar virtual que el sol virtual tiene reflejos en la mesa, y este reflejo cambiará de posición a medida que el usuario del dispositivo se mueva, al igual que el sol realmente cuelga en el cielo y emite una fuente de luz, que se refleja en la superficie de la mesa. Esto requiere que el dispositivo sepa dónde está la superficie de la mesa en tiempo real y calcule la relación entre el sol virtual y el plano, de modo que la posición del reflejo del sol pueda calcularse y apilarse en la posición correspondiente de las gafas del usuario del dispositivo. , y la información de profundidad también es correcta. La dificultad radica en la detección del avión en tiempo real y la suavidad de la posición del avión (de lo contrario, el reflejo saltará). En la demostración se puede ver que Magic Leap ha hecho un buen trabajo en este paso.
2.2 Luego está Sparse SLAM (Sparse SLAM); Gary demostró su algoritmo de posicionamiento y reconstrucción tridimensional en tiempo real en la sesión de información. Para garantizar el rendimiento en tiempo real del algoritmo, primero implementaron un algoritmo de posicionamiento tridimensional disperso o semidisperso de alta velocidad. Desde el punto de vista del efecto, no es muy diferente del algoritmo LSD de código abierto actual.
2.3 El siguiente es Sensores; Visión e IMU (fusión de sensores de visión y inercia).
Los misiles generalmente utilizan sensores inerciales puros para el posicionamiento activo, pero el mismo método no se puede utilizar para sensores inerciales de baja precisión de grado civil, que definitivamente se desviarán después de la integración secundaria. Sin embargo, cuando se depende únicamente de la visión para el posicionamiento activo, la velocidad de procesamiento de la parte visual no es alta, se bloquea fácilmente y la solidez del posicionamiento no es alta. La fusión de sensores visuales e inerciales ha sido un enfoque muy popular en los últimos años.
Ejemplo:
Google Tango hace un muy buen trabajo integrando IMU y cámara de profundidad; los drones DJI Phantom 3 o Inspire 1 combinan el flujo óptico únicamente la fusión de la cámara ocular y la cámara de profundidad. El sensor inercial en el dron puede lograr un vuelo estacionario sorprendentemente estable sin GPS; se puede decir que Hololens lo hizo bastante bien en SLAM, y ha personalizado un chip y un algoritmo especialmente para SLAM. Se dice que hereda el núcleo de KinectFusion. Siento que el efecto de posicionamiento es muy bueno (puedo pararme y saltar frente a la pared blanca sin rasgos distintivos, pero el posicionamiento sigue siendo muy preciso después de regresar al centro del campo, sin desviarme en absoluto).
2.4 Finalmente, está el mapeo 3D y SLAM denso (reconstrucción de mapas 3D). La siguiente imagen muestra la reconstrucción del mapa 3D de la oficina de Mountain View de Magic Leap: con solo caminar con el dispositivo, se restauró el mapa 3D de toda la oficina, con texturas muy exquisitas. Los libros de la estantería se pueden reconstruir sin deformarse.
Debido a que la interacción AR es un campo nuevo, para permitir que las personas interactúen sin problemas con el mundo virtual, los algoritmos de reconocimiento y seguimiento basados en visión artificial se han convertido en una máxima prioridad. La nueva experiencia de interacción persona-computadora requiere una gran cantidad de reservas técnicas para respaldarla.
Gary no entró en detalles sobre las siguientes tres ramas, pero se puede ver su diseño. Solo agregaré algunas notas para ayudar a todos a entender.
3.1 Crowdsourcing. Se utiliza para recopilar datos y utilizarlos para trabajos posteriores de aprendizaje automático. Es necesario crear un mecanismo de aprendizaje por retroalimentación razonable para recopilar datos de forma dinámica e incremental.
3.2 Aprendizaje Automático y Aprendizaje Profundo Aprendizaje automático y aprendizaje profundo. Es necesario construir una arquitectura de algoritmo de aprendizaje automático para la posterior producción de algoritmos de reconocimiento.
3.3 Reconocimiento de Objetos Escénicos Reconocimiento de objetos de escena. Identifique objetos en la escena, distinga los tipos y características de los objetos y utilícelos para realizar mejores interacciones. Por ejemplo, cuando veas un cachorro, lo reconocerá y luego el sistema puede convertir al perro en un monstruo con forma de perro y tú podrás luchar directamente contra el monstruo.
3.4 Reconocimiento de conductas Reconocimiento de conductas. Identificar el comportamiento de personas u objetos en la escena, como correr o saltar, caminar o sentarse, puede usarse para interacciones de juego más dinámicas. Por cierto, hay una empresa nacional llamada Green Deep Eyes dirigida por un ex alumno de Stanford que también está investigando en esta área.
Aspectos de seguimiento
4.1 Reconocimiento de gestos Reconocimiento de gestos. De hecho, para la interacción, todas las empresas de AR/VR hacen reservas técnicas en este ámbito.
4.2 Seguimiento de Objetos Seguimiento de objetos. Esta tecnología es muy importante, como la demostración de Magic Leap sobre cómo sostener un elefante. Al menos necesitas conocer la información de posición tridimensional de tu mano y realizar un seguimiento en tiempo real para colocar al elefante en la posición correcta.
4.3 Escaneado 3D Escaneado tridimensional. Capacidad de virtualizar objetos reales. Por ejemplo, si tomas una obra de arte y la escaneas en tres dimensiones, los usuarios a distancia pueden compartir y jugar con el mismo objeto en el mundo virtual.
4.4 Seguimiento Humano Seguimiento Humano. Por ejemplo: puedes agregar una barra de salud, puntos de habilidad, etc. a cada personaje en la realidad.
5.1 Seguimiento ocular Seguimiento ocular. Gary explicó que aunque el renderizado de Magic Leap no requiere seguimiento ocular, los cálculos de renderizado de Magic Leap son enormes porque necesita calcular un campo de luz de 4 dimensiones. Si se realiza el seguimiento ocular, se puede reducir la presión sobre la representación de objetos y escenas del motor 3D, lo cual es una excelente estrategia de optimización.
5.2 Reconocimiento de Emociones Reconocimiento de emociones. Si Magic Leap construyera un sistema operativo de inteligencia artificial como el que se muestra en la película Her, podría reconocer las emociones del propietario y brindar un cuidado emocional atento.
5.3 Biometría. Por ejemplo, para identificar personas en escenas reales, muestre un nombre en la cabeza de cada persona. El reconocimiento facial es uno de ellos. Face++, una empresa en China dirigida por hermanos de la clase Yao de la Universidad de Tsinghua, es la mejor en esto.
Resumen: En pocas palabras, en términos de percepción, Magic Leap es en realidad similar a muchas otras empresas. Aunque con la incorporación de Gary, la ambición es muy amplia, la competencia en esta parte es muy feroz.
P6: Incluso si Magic Leap ha resuelto la percepción y visualización, ¿cuál es la siguiente dificultad?
1. Equipo informático y cantidad de cálculo
Magic Leap necesita calcular un campo de luz de 4 dimensiones, lo que requiere una cantidad asombrosa de cálculo. No sé cómo Magic Leap resuelve el problema ahora. ¿Qué pasa si Nvidia no fabrica increíbles tarjetas gráficas para móviles? ¿Quieres hacer tu propio circuito dedicado? Llevar cuatro piezas de Titan X de viaje no es una broma.
La siguiente imagen es una de las demostraciones de realidad virtual a las que asistí en SIGGraph 2015 este año. Todos llevaban una gran bolsa de computadora para jugar en realidad virtual. ¿Le resultará gracioso a los humanos dentro de 10 años ver a los humanos de hoy utilizando la realidad virtual?
2. ¡Batería! ¡Batería! ¡Batería! El dolor de todos los dispositivos electrónicos
3. Un sistema operativo
Para ser honesto, si "el mundo es tu nuevo escritorio" es su visión, de hecho no existe ningún sistema operativo que pueda hacerlo. apóyalo ahora Interacción bajo la visión de Magic Leap. Tienen que inventar la rueda ellos mismos.
4. Agregue sensación física a la experiencia interactiva de los objetos virtuales.
Para tener un sentido del tacto, los guantes interactivos y los mangos interactivos son ahora temas candentes en la industria de la realidad virtual. A juzgar por las patentes actuales, no parece que Magic Leap tenga mayores conocimientos. Tal vez cierto Kickstarter eventualmente domine y Magic Leap se haga cargo.