Un desarrollador ha encontrado una forma inteligente de acceder a las cámaras de montaje de Quest 3 para ejecutar modelos de visión por computadora personalizados.
Meta no permite que los desarrolladores externos accedan a las cámaras de los auriculares Quest, pero Michael Gschwandtner, cofundador y desarrollador principal de Aplicación de seguimiento de actividad física XRWorkoutpublicó un video en plataformas de redes sociales que muestra los resultados de una interesante solución a esta restricción.
El vídeo de demostración muestra el modelo de detección de objetos MobileNet V2 de código abierto ejecutándose de forma nativa en Quest 3 a 0,75 Hz. Esta elección se hizo por razones prácticas, más que por motivos de rendimiento.
Gschwandtner envió a UploadVR una versión de prueba y verificamos de forma independiente que era real y funcionaba. También reveló en exclusiva a UploadVR cómo exactamente llevó a cabo su proyecto.
como funciona
La creación de la aplicación de Gschwandtner crea una vista web, una instancia del navegador web Chromium dentro de la aplicación, que carga automáticamente el oculus.com/casting URL a la que los auriculares Quest pueden transmitir su vista.
Luego deberá realizar todo el proceso de inicio de sesión en su cuenta Meta en esta vista web. Una vez que haya terminado, utilice el menú del sistema Quest para iniciar la transmisión web. Exclusivamente, transmite desde el auricular a una aplicación dentro del mismo auricular, no a otro dispositivo.
Luego, la aplicación de Gschwandtner muestra el contenido de píxeles, RenderTexture, de la vista web que recibe la vista transmitida y luego puede hacer lo que quiera con ella. En el ejemplo de demostración, lo envía al SDK MediaPipe de Google en el dispositivo.
Una de las principales limitaciones aquí es que la vista también incluirá objetos e interfaces virtuales, y no solo la vista de la cámara de transferencia, lo que significa que solo funcionará cuando la mayor parte de la imagen esté en transferencia. Pero Gschwandtner dice que tiene un “plan” para solucionar este problema.
¿Qué pasa después?
Aún no está claro cómo reaccionará Meta ante el descubrimiento de Gschwandtner. La empresa puede inutilizar esta técnica en una versión futura del sistema operativo Horizon de Quest. Las publicaciones de Gschwandtner en las redes sociales incluyen una solicitud pública de «unirse a una llamada» con el director ejecutivo de Meta, Mark Zuckerberg, o el director de tecnología, Andrew Bosworth, para «mostrarles» la técnica.
El mes pasado, Bosworth expresó su opinión sobre la idea de dar intencionalmente a los desarrolladores de Quest acceso a cámaras de transferencia en una entrevista, diciendo que Meta «continuará investigando» el problema.
Meta ‘Looking At’ brinda a los desarrolladores de Quest acceso a la cámara sin formato
El CTO de Meta, Andrew Bosworth, dijo que la compañía «seguiría pensando» en dar a los desarrolladores de Quest acceso a la cámara sin procesar.
En comparación, para sus auriculares Vision Pro, Apple solo brinda acceso sin formato a empresas y solo para aplicaciones internas no públicas.
