En AWE pude probar la demo de Doublepoint WowMouse, una app para tu smartwatch que lo convierte en un ratón 3D para XR. Este es uno de los aspectos más destacados del evento, por lo que definitivamente deberías leerlo.
punto doble
Conozco Doublepoint desde que se llamaba Port6. y un vídeo sobre ella usando un reloj inteligente para activar electrodomésticos se volvió viral en Linkedin. La primera llamada que tuve con Ohto Pentikainen, el director ejecutivo, y Jamin Hu, el director de tecnología, fue en 2022… ha pasado mucho tiempo desde que se fundó esta empresa. trabajar en la creación de interfaces innovadoras mediante el uso de relojes conectados.
La idea principal detrás de los esfuerzos de Doublepoint es que los relojes inteligentes modernos vienen con increíbles sensores incorporados y Estos sensores le permiten hacer mucho más de lo que normalmente necesita un reloj inteligente. La intuición de los fundadores fue Utilice estos sensores para detectar posturas y gestos de las manos. En particular, la primera aplicación detectada cuando el dedo índice y el pulgar de la mano se tocan.
Jamin me explicó que cuando el pulgar toca los diferentes dedos de la mano, este movimiento crea vibraciones alrededor de la muñeca y las vibraciones son diferentes para cada dedo tocado. Entonces, usando los datos del sensor leídos por el reloj inteligente en tu muñeca y un poco de magia de aprendizaje automático, Es posible detectar cuando el pulgar toca la punta del dedo índice.. Básicamente, puedes detectar el gesto de toque en el aire (que se usa en Vision Pro, Quest y HoloLens) solo con un reloj inteligente en tu muñeca, y sin necesidad de usar guantes completos ni cámaras de seguimiento externas.
ratón guau
Dado que los relojes inteligentes están equipados con IMU, puedes detectar su orientación en el espacio. Puede asociar la detección de toques con la orientación del dispositivo y usar la mano que lleva el reloj inteligente como un mouse 3DOF. Doublepoint hace exactamente eso y llama a esta solución «WowRatón».
WowMouse es una aplicación para relojes inteligentes Android. Después de instalar la aplicación y vincular su reloj inteligente con un auricular XR, puedes usar tu mano como un mouse para realidades inmersivas, apuntando a los elementos de la interfaz de usuario y haciendo clic. Actualmente, WowMouse es compatible con los auriculares Magic Leap 2 y Quest 2/3 y se recomienda ejecutarlo en los relojes inteligentes Samsung Galaxy Watch 4/5/6 o Google Pixel Watch 2.
Si echas un vistazo a La documentaciónNotarás que una cosa interesante es que La integración de WowMouse no requiere instalar ningún paquete en su aplicación Unity. El sistema funciona simplemente integrándose con el sistema de entrada de Unity, por lo que solo necesita definir un conjunto de acciones y estará listo para comenzar. Como desarrollador, creo que es genial.
¿Pero por qué?
Sospecho que muchos de ustedes se estarán preguntando: ¿por qué necesitamos esto cuando ya tenemos seguimiento manual en todos los auriculares principales? ¿Por qué molestarse con este enfoque de reloj inteligente si ya podemos usar nuestras manos como un mouse?
Bueno, la gente de Big Bang Theory diría: «Porque podemos».
Pero una respuesta más seria es que todavía estamos en las primeras etapas de la realidad virtual y Es interesante explorar varios enfoques para resolver el mismo problema. Aunque el seguimiento manual tiene la ventaja de funcionar sin ningún hardware externo, el enfoque del reloj inteligente también tiene sus propias ventajas:
- Puede proporcionar retroalimentación háptica a las manos mediante vibraciones
- Tiene bajo consumo de energía.: simplemente toma los datos de la mano, los analiza localmente y envía el resultado al auricular. El análisis de imágenes requiere que el dispositivo analice millones de píxeles en cada imagen.
- No tienes que poner las manos delante para que te sigan.Puedes hacer clic con la mano en todas las posiciones.
- Puedes usar guantes industriales. y sus gestos aún serán rastreados (el seguimiento de manos basado en cámara fallaría en esta condición)
- Si agregas más sensores al reloj inteligente, puedes utilizar técnicas de IMC para detectar incluso la intención del clic, sin que el usuario siquiera realice la acción. Esto es lo que hacía CTRL+LABS antes de ser adquirido por Meta
Además, este enfoque también funciona si no estás usando ningún auricular XR, como veremos en un momento. Entonces, vale la pena observar lo que Doublepoint está haciendo para ver para qué aplicaciones será ideal esta solución.
WowMouse práctico en AWE
Tuve la oportunidad de probar WowMouse en la feria AWE. En particular, hubo dos demostraciones: una sin gafas, dedicada a IoT, y otra con gafas sobre el uso del reloj inteligente como controlador para XR.
Después de que el equipo de Doublepoint me puso el reloj inteligente en la muñeca, Acabo de probar el sistema para detectar el gesto táctil: Miré el reloj inteligente y comencé a tocar las puntas de mi pulgar y mi dedo índice. Cada vez que hacía esto, la pantalla del dispositivo parpadeaba. La detección funcionó bastante bien, detectando el gesto cada vez que lo hacía correctamente. Sin embargo, tenía algunos errores de detección si hacía el gesto débilmente, por lo que entendí que el gesto debía realizarse de manera adecuada.
Después de eso, probé la primera demostración: tenía que pararme en un lugar específico de la cabina, luego Podía apuntar a dos lámparas que estaban en dos rincones diferentes de la habitación. Al señalar una lámpara y tocar con los dedos, podía seleccionarla. Una vez seleccionada la lámpara, Podría girar la palma de mi mano para cambiar la intensidad de la luz. Después de eso, con un doble toque, pude deseleccionar la lámpara.
Fue genial probar la demostración porque me hizo sentir como si tuviera superpoderes: sin auriculares ni control remoto, simplemente podía apuntar las luces para hacerlas cambiar de intensidad. Técnicamente hablando, supongo que fue solo una combinación de detección de orientación IMU (para entender a qué lámpara estaba apuntando, luego la rotación de mi muñeca) y detección de gestos de toque, pero aunque el resultado fue bastante bueno. No sé si esto se puede traducir fácilmente a una aplicación práctica, porque para usarlo en una casa real tendría que poder entender a qué objeto estoy apuntando desde cualquier posición de la habitación en la que me encuentre. . Pero como prototipo fue genial y funcionó bien.
La segunda demostración se realizó en asociación con Magic Leap y me permitió usar WowMouse con Magic Leap 2. Probé una aplicación donde muchas burbujas volaban a mi alrededor y Podría hacer clic en ellos para que aparezcan. Podría hacer esto con un esquema de interacción similar a Vision Pro: Podría mirarlos con los ojos y luego tocar con los dedos para interactuar con ellos. Si ha leído mi reseña de Apple Vision Pro, sabrá que no soy un gran admirador de usar los ojos como mouse, pero de todos modos ese no era el objetivo de esta demostración. Lo interesante fue que Podría hacer tapping con la mano completamente en reposo. Con Vision Pro, o incluso con el seguimiento Ultraleap, debo mantener constantemente mi mano ligeramente delante de mí para que sea visible para las cámaras de seguimiento. Pero en este caso, como la detección ocurrió con los sensores en la muñeca, no tuve que hacer eso, así que Podría mantener mi brazo en reposo mientras bajaba por mi cuerpo. Fue simplemente asombroso porque la interacción ojo + mano se volvió mucho más relajada y cómoda de realizar. Fue entonces cuando vi el potencial de tener un sensor en mi muñeca en lugar de utilizar el seguimiento manual.
Con la misma aplicación, también podría intentar usar Wowmouse en un sentido más tradicional de «ratón». Había algunos menús que podía controlar usando mi brazo como si fuera un «ratón aéreo» y apuntando a los elementos de la interfaz de usuario y luego haciendo clic en ellos con el gesto de toque aéreo. Tenga en cuenta que el mouse solo tenía 3DOF, por lo que no funcionó como un controlador de realidad virtual donde podía apuntar exactamente a los elementos que quería. Más bien, se trataba de detectar si estaba moviendo mi mano hacia la izquierda o hacia la derecha y mover el puntero en esa dirección en consecuencia, como lo hace un mouse cuando mueve mi puntero 2D en la pantalla 2D de mi computadora. El sistema funcionó bastante bien, aunque debo decir honestamente que al estar acostumbrado a apuntar exactamente con 6 grados de libertad, el movimiento del mouse tipo 2D fue un poco menos agradable de usar.
Cuando llegué a casa después de AWE, noté que también Upload escribió un artículo sobre Doublepointy que mi amigo Don Hopper intentó usar WowMouse en casa con Meta Quest 3, con buenos resultados.
Impresiones finales
Ha pasado un tiempo desde que sigo Doublepoint y lo hago por una razón: Tienen algunas ideas bastante interesantes sobre el uso de relojes inteligentes para interactuar con auriculares XR y con el entorno que nos rodea. Tienen una detección de interacción bastante sólida y me interesa ver el desarrollo de estas ideas. para ver si el reloj inteligente logrará encontrar sus casos de uso en XR o IoT o si al final ganarán las manos desnudas. Sólo el tiempo lo dirá, mientras tanto, ¡buena suerte al equipo de Doublepoint!
Advertencia: este blog contiene anuncios y enlaces de afiliados para mantener el contenido. Si hace clic en un enlace de afiliado, estaré muy feliz ya que ganaré una pequeña comisión por su compra. Puedes encontrar mi divulgación completa y aburrida aquí.
Relacionado
