Investigadores de Meta y ETH Zurich han desarrollado un sistema de software llamado TouchInsight, que, según dicen, resuelve el problema de convertir cualquier superficie en un teclado virtual.
Hoy en día, ingresar texto en realidad virtual y realidad aumentada es tedioso y significativamente más lento que en las PC y los teléfonos inteligentes. Los teclados virtuales flotantes requieren levantar las manos de manera incómoda y presionar lentamente una tecla a la vez, lo que no proporciona retroalimentación háptica y evita que la muñeca descanse. Los auriculares Quest admiten el emparejamiento con un teclado Bluetooth para escribir a máxima velocidad, pero eso significa que debe llevar un dispositivo separado más grande que los auriculares.
Si los auriculares pudieran convertir cualquier superficie plana en un teclado virtual, proporcionarían retroalimentación háptica parcial y permitirían descansar las muñecas, sin necesidad de llevar un teclado físico. Técnicamente, los desarrolladores ya pueden crear teclados virtuales con superficie bloqueada en Quest hoy, utilizando el seguimiento manual y pidiendo al usuario que toque la superficie para calibrar su posición. Pero en la práctica, incluso la más mínima desviación entre la altura de la superficie virtual y la superficie real da como resultado una tasa de error inaceptable.
Meta presentó una investigación destinada a resolver esta idea el año pasado, y su CTO, Andrew Bosworth, dijo que logró casi 120 palabras por minuto (WPM). Pero la solución del año pasado parecía requerir una serie de puntos de referencia sobre la mesa, que podrían haber actuado como un sistema robusto de calibración dinámica. Además, Meta no ha revelado la tasa de error de este sistema.
En el documento TouchInsightLos seis investigadores dicen que su nueva solución sólo alcanza un máximo de poco más de 70 palabras por minuto y un promedio de 37 palabras por minuto. La persona promedio escribe alrededor de 40 palabras por minuto en un teclado tradicional, mientras que los mecanógrafos profesionales alcanzan entre 70 y 120 palabras por minuto dependiendo de su nivel de habilidad.
Pero lo más importante es que TouchInsight aparentemente solo funciona con un auricular Quest 3 estándar, en cualquier mesa, sin marcadores ni hardware externo de ningún tipo. Y aunque Meta no reveló la tasa de error del sistema del año pasado, los investigadores dicen que la tasa promedio de error no corregido de TouchInsight es sólo del 2,9 por ciento.
“En este artículo, presentamos un canal en tiempo real que detecta entradas táctiles de los diez dedos en cualquier superficie física, basándose únicamente en el seguimiento egocéntrico de la mano.
Nuestro método TouchInsight incluye una red neuronal para predecir el momento de un evento táctil, el dedo que se toca y la ubicación del toque. TouchInsight representa ubicaciones a través de una distribución gaussiana bivariada para tener en cuenta las incertidumbres debidas a imprecisiones en la detección, que resolvemos a través de prioridades contextuales para inferir con precisión las entradas deseadas por el usuario.
TouchInsight también podría usarse para la detección general de pulsaciones de dedos sobre superficies físicas más allá de la simple escritura. Por ejemplo, dicen los investigadores, podría permitir un juego Whac-A-Mole de realidad mixta en el que se usan los dedos para aplastar pequeños topos.
Los investigadores dicen que harán una demostración de TouchInsight en el Simposio ACM sobre software y tecnología de interfaz de usuario. la próxima semanaen Pittsburg.
No está claro si Meta planea integrar TouchInsight en Horizon OS en un futuro próximo y, de no ser así, cuáles son los obstáculos específicos para hacerlo.
