¿Cómo funciona el diseño de interacción de realidad virtual?
1 "Captura de movimiento"
Si los usuarios quieren conseguir una inmersión completa y "entrar" realmente en el mundo virtual, es necesario un sistema de captura de movimiento. Actualmente, existen algunos sistemas de captura de movimiento en el mercado diseñados específicamente para la realidad virtual, incluido Perception Neuron, y otros son equipos costosos de calidad comercial o son pura humo y espejos (lo que significa que el producto se fabricó antes de que se completara el desarrollo de la publicidad). , quizás el producto que se anuncia ni siquiera se lanzó al mercado). Sin embargo, debido a su umbral inherente de facilidad de uso, este tipo de equipo de captura de movimiento solo se puede usar en escenas específicas muy pesadas y requiere que los usuarios pasen un tiempo relativamente largo usándolo y calibrando antes de poder usarlo. Por el contrario, dispositivos ópticos como Kinect también se pueden utilizar en determinados escenarios que no requieren tanta precisión.
La captura de movimiento de todo el cuerpo no es necesaria en muchas situaciones. Otro problema es la falta de retroalimentación. Es difícil para los usuarios sentir que sus operaciones son efectivas, lo que también es un problema importante en el diseño de interacción. .
2 "Retroalimentación táctil"
De lo que estamos hablando principalmente aquí es de retroalimentación de botones y vibración, que es la categoría de controladores de realidad virtual que se mencionará a continuación. Los tres principales fabricantes actuales de cascos de realidad virtual, Oculus, Sony y HTC Valve, utilizan controladores de realidad virtual como modo de interacción estándar: seguimiento espacial discreto de 6 grados de libertad para ambas manos (3 grados de libertad de rotación y 3 grados de libertad de traslación), Y viene con botón y respuesta de vibración. Obviamente, este dispositivo está diseñado para algunas aplicaciones de juegos altamente especializadas (así como para aplicaciones de consumo ligeras), lo que también puede verse como una estrategia comercial, porque los primeros consumidores de auriculares VR son básicamente jugadores.
Sin embargo, la ventaja de este dispositivo interactivo altamente especializado/simplificado es obviamente que puede usarse muy cómodamente para aplicaciones como juegos, pero no puede adaptarse a una gama más amplia de escenarios de aplicación.
3 "Seguimiento ocular"
La tecnología más importante en el campo de la realidad virtual: la tecnología de seguimiento ocular merece la atención de la gente, Palmer Luckey, fundador de Oculus, la llamó una vez la tecnología más importante de la industria. .tecnología importante. El fundador de Oculus, Palmer Luckey, lo llamó una vez el "corazón de la realidad virtual" porque puede detectar la posición del ojo humano y proporcionar el mejor efecto 3D para la perspectiva actual, lo que hace que la imagen presentada por el dispositivo de realidad virtual sea más natural y con un retraso menor. La jugabilidad ha mejorado mucho. Al mismo tiempo, la tecnología de seguimiento ocular puede aprender el punto de mirada real del ojo humano, obteniendo así la posición de profundidad de campo del punto de vista sobre el objeto virtual. Por lo tanto, la mayoría de los profesionales de la realidad virtual consideran la tecnología de seguimiento ocular como un avance tecnológico importante para resolver el problema del vértigo en los cascos de realidad virtual. Sin embargo, aunque muchas empresas están investigando la tecnología de seguimiento ocular, ninguna puede ofrecer una solución satisfactoria.
Pei Yun, jefe del Centro de Algoritmos de Imágenes y Gráficos de SuperD, cree que el seguimiento ocular en realidad virtual se puede lograr utilizando dispositivos similares al rastreador ocular tobii, pero la premisa es que los problemas de tamaño y consumo de energía de el dispositivo debe ser solucionado. De hecho, según expertos de la industria, desde la perspectiva de la tecnología de seguimiento ocular en sí, aunque existen ciertas restricciones en la realidad virtual, la viabilidad sigue siendo relativamente alta, como conectar una fuente de alimentación externa y agrandar el diseño estructural de la realidad virtual. Pero el mayor desafío radica en ajustar la imagen para que se adapte a los movimientos oculares. Estos algoritmos de ajuste de imagen están actualmente en blanco. Hay dos indicadores, uno es que la imagen es natural y real, y el otro es que el retraso es rápido y pequeño. Esto plantea requisitos más altos para el seguimiento ocular VR +. Si se pueden lograr estos dos puntos, la jugabilidad de la realidad virtual se llevará a un nuevo nivel.
4 "Simulación mioeléctrica"
En este punto, utilizamos el dispositivo de boxeo VR Impacto para ilustrar, que combina retroalimentación táctil y estimulación eléctrica muscular para simular con precisión sentimientos reales. En concreto, el dispositivo Impacto se divide en dos partes.
Una parte es el motor de vibración, que puede producir la sensación de vibración que pueden experimentar los controladores de juegos comunes; la otra parte, y la más significativa, es el sistema de estimulación eléctrica muscular, que estimula los movimientos de contracción muscular a través de corriente eléctrica. La combinación de los dos puede dar a los jugadores la ilusión de golpear a sus oponentes en el juego, porque el dispositivo producirá un "impacto" similar a un puñetazo real en el momento adecuado.
Sin embargo, todavía existe cierta controversia sobre este proyecto en la industria, porque el nivel actual de biotecnología no permite el uso de estimulación eléctrica muscular para simular en gran medida las sensaciones reales. Incluso con este método, lo que la tecnología actual puede lograr es sólo una sensación relativamente áspera, que es de poca utilidad para la búsqueda de la realidad virtual inmersiva, "no tan buena como un motor de vibración". Otro amigo que se dedica a los equipos de fisioterapia para aliviar el dolor dijo que hay muchos problemas que deben superarse cuando se utiliza la estimulación eléctrica muscular para simular sentimientos reales, porque el canal nervioso es una estructura delgada y compleja, y es poco probable que estimule el piel desde el exterior, pero estimulación eléctrica "aleatoria" Es posible estimular el movimiento muscular como retroalimentación.
5 Seguimiento manual
Hay dos formas de utilizar el seguimiento manual como método de interacción: la primera es utilizar el seguimiento óptico, utilizando sensores de profundidad como Leap Motion y NimbleVR; Utilice el sensor en la mano como guante de datos.
Las ventajas del seguimiento óptico son las bajas barreras de uso, los escenarios flexibles y los usuarios no necesitan ponerse ni quitarse el dispositivo en las manos. Por lo tanto, en el futuro, el seguimiento óptico de la mano será directo. Se pueden integrar como una forma de interactuar con escenas móviles. Pero la desventaja es que el campo de visión es limitado y hay dos problemas básicos que mencionamos anteriormente: las interacciones que requieren que los usuarios hagan un esfuerzo físico y mental no tendrán éxito, y el uso del seguimiento de gestos será agotador y poco intuitivo, sin retroalimentación. . Esto requiere un buen diseño de interacción para compensar.
En términos generales, los guantes de datos integran sensores inerciales en los guantes para rastrear el movimiento de los dedos del usuario o incluso de todo el brazo. Su ventaja es que no hay limitación del campo de visión y es completamente posible integrar mecanismos de retroalimentación (como vibración, botones y tacto) en el dispositivo. Sus desventajas son que la barrera de uso es alta: el usuario necesita encender o apagar el dispositivo y, como periférico, su utilidad aún es limitada: es poco probable que se utilice un mouse, por ejemplo, en muchos escenarios móviles. Pero estos problemas no son umbrales técnicos absolutos. Es completamente concebible que en la futura industria de la realidad virtual aparezcan guantes con datos altamente integrados y simplificados, como anillos, que los usuarios puedan llevar consigo en cualquier momento.
Ambos métodos tienen sus pros y sus contras. Es posible que estos dos métodos de seguimiento de gestos coexistan durante mucho tiempo en el futuro, y los usuarios utilizarán diferentes métodos de seguimiento (y diferentes preferencias) en diferentes escenarios. .
6 "Seguimiento de dirección"
El seguimiento de dirección se puede utilizar no solo para apuntar puntos, sino también para controlar la dirección del movimiento del usuario en realidad virtual. Sin embargo, si utiliza el seguimiento de orientación para ajustar la orientación, lo más probable es que no pueda darse la vuelta porque el usuario no siempre está en una silla giratoria que pueda girar 360 grados, y puede haber muchas situaciones en las que el espacio es limitado. Por ejemplo, si gira la cabeza 90 grados y luego gira el cuerpo, será difícil girar 180 grados. ……. Por lo tanto, aquí "el espacio limitado y la imposibilidad de girar es un requisito", por lo que el diseñador de interacción dio una solución. - Presione el botón derecho del mouse para regresar a la dirección de la mirada original, o restablecer la dirección de la mirada actual (es decir, la dirección en la que estaba mirando originalmente), o ajuste la dirección del joystick, o presione el botón para regresar a la posición original.
Pero el problema persiste; usar la dirección en la que mira el usuario como dirección de viaje puede mejorar en gran medida la inmersión al combinar la dirección y la visión en comparación con un teclado y un mouse o un gamepad, pero esto tiene el potencial de hacer que los jugadores Jugar cansa y reduce los niveles de comodidad.
7 "Interacción de voz"
En la realidad virtual, el usuario se siente abrumado por la enorme cantidad de información. No prestará atención al texto de instrucciones en el centro visual, pero mirará. alrededor, descubriendo y explorando constantemente. Proporcionar instrucciones gráficas en este punto interferiría con su experiencia de inmersión en realidad virtual, por lo que el mejor enfoque es utilizar la voz, que no interferirá con el mundo que observan a su alrededor. Es mucho más natural para los usuarios interactuar con el mundo de la realidad virtual a través de la voz, y la voz está en todas partes y en todo momento, por lo que los usuarios no necesitan mover la cabeza y buscar la voz, pueden comunicarse con la voz en cualquier lugar y en cualquier rincón.
8 "Sensores"
Los sensores pueden ayudar a las personas a interactuar de forma natural con entornos de información de realidad virtual multidimensionales. Por ejemplo, cuando las personas entran en un mundo virtual, no sólo quieren sentarse allí, sino que también quieren poder moverse en el mundo virtual, como la cinta de correr universal que actualmente están desarrollando Virtuix, Cyberith y KAT nacional. Sin embargo, las personas que lo han experimentado dicen que este tipo de cinta de correr en realidad no proporciona una sensación cercana al ejercicio real y que la experiencia actual no es buena. También hay ideas que utilizan sensores inerciales en los pies para caminar en el lugar en lugar de avanzar, como StompzVR, y el traje de realidad virtual de cuerpo completo Teslasuit, que permite sentir cambios en el entorno de realidad virtual, como la brisa que sopla. , o incluso disparar La sensación de recibir un disparo en el juego.
Estos son generados por varios sensores en el dispositivo, como anillos de inducción inteligentes, sensores de temperatura, sensores de luz, sensores de presión, sensores visuales, etc., que pueden hacer que la piel produzca las sensaciones correspondientes a través de la corriente de pulso. , o Transmitir varios sentidos como el tacto y el olfato en el juego al cerebro. Sin embargo, la experiencia de aplicación de los sensores existentes en dispositivos no es alta y aún se necesitan muchos avances en tecnología.
9 "Un lugar real"
Se trata de crear un lugar real que se pueda mover libremente, que sea completamente coherente con las paredes, obstrucciones, límites, etc. de lo virtual. mundo. Por ejemplo, el parque temático de realidad virtual altamente interactivo "The Void" adopta este enfoque. "Void" es una experiencia de realidad mixta que construye el mundo virtual sobre el mundo físico, permitiendo a los usuarios sentir los objetos que los rodean y usar accesorios reales como linternas, cuchillos, pistolas, etc. Se llama "la superficie de la tierra". "Según los medios chinos, las instalaciones de entretenimiento más poderosas".
Este tipo de lugar real puede brindar a los usuarios una buena experiencia que no pueden brindar varios periféricos mediante una planificación cuidadosa del diseño de niveles y escenas. Sin embargo, su escala e inversión son grandes, solo se puede aplicar a escenas virtuales específicas y está sujeta a una amplia gama de restricciones en la aplicación de escenas.
▌ La realidad virtual es una nueva revolución interactiva y la gente se está dando cuenta de la transformación interactiva de la interfaz al espacio. En el futuro, la interacción multicanal se convertirá en la forma de interacción principal en la era de la realidad virtual. En la actualidad, los métodos de entrada para la interacción de realidad virtual no se han unificado y varios dispositivos interactivos en el mercado todavía tienen sus propias deficiencias.
Los expertos de la industria dijeron que en el corto plazo, el desarrollo de la realidad virtual seguirá estando impulsado por los dividendos tecnológicos y la tecnología interactiva se convertirá en la clave. Al mismo tiempo, en el contexto de la convergencia del rendimiento del hardware, la tecnología interactiva constituirá una competitividad diferenciada. En la cadena industrial, "los algoritmos de interacción son la clave y el espacio de aplicaciones posteriores es enorme". Toda la cadena industrial de dispositivos de entrada se compone principalmente de fabricantes de componentes ascendentes (principalmente fabricantes de sensores y chips), fabricantes de dispositivos de entrada intermedios y soluciones interactivas. proveedores El downstream Principalmente aplicaciones de nivel empresarial, como juegos, películas y parques temáticos. El downstream son principalmente aplicaciones de nivel empresarial, como juegos, cine y televisión, y parques temáticos. Dijeron que en el futuro, debido a factores como que los fabricantes extranjeros autoricen la producción de algunos fabricantes nacionales, el problema del suministro de sensores se resolverá parcialmente, para entonces los proveedores de soluciones interactivas con tecnología de algoritmos independientes líderes serán cada vez más importantes.