Meta ha lanzado el esperado «API de cámara Passthrough» para Quest, abriendo un abanico de posibilidades para los desarrolladores de realidad mixta (RM). Esta nueva capacidad, que permite acceder a las cámaras del visor, promete transformar la forma en que interactuamos con el mundo virtual y físico. Aunque inicialmente disponible solo para experimentación y distribución a través de plataformas como SideQuest, su llegada anticipa una nueva era de aplicaciones innovadoras.
Acceso a las cámaras Passthrough
El API de Cámara Passthrough otorga a las aplicaciones acceso a las cámaras a color frontales del Quest, junto con metadatos como los intrínsecos de la lente y la pose del visor. Esto permite a los desarrolladores ejecutar modelos de visión por computadora personalizados, abriendo la puerta a una amplia gama de aplicaciones.
Desde juegos hasta soluciones empresariales
Las posibilidades son vastas: escaneo y seguimiento de códigos QR, detección de tableros de juego para superponer personajes virtuales, detección de objetos físicos para guías empresariales, e integración de la IA visual de modelos de lenguaje grandes (LLM) alojados en la nube. Los desarrolladores están limitados únicamente por la capacidad del chipset XR2 Gen 2 para ejecutar modelos de visión por computadora en tiempo real y por el costo de los modelos de imagen alojados en la nube.
Resolución y latencia
El flujo de la cámara passthrough se proporciona a las aplicaciones con una resolución de hasta 1280×960 por cámara a 30FPS, con una latencia de 40-60 milisegundos. Esto significa que no es adecuado para rastrear objetos que se mueven rápidamente ni para discernir detalles finos como texto pequeño.
Implementación y compatibilidad
Técnicamente, no existe un API específico de Meta Quest Camera Passthrough, ni es una extensión de OpenXR. Los desarrolladores deben solicitar un permiso específico de Horizon OS para las cámaras del visor, pero el acceso a la cámara passthrough de Quest aprovecha el API Camera2 existente de Android, que también devuelve la pose del visor obtenida con OpenXR. Esto significa que el mismo código debería funcionar en la próxima plataforma Android XR de Google.
Soporte para Unity y recursos para desarrolladores
Para Unity, los desarrolladores pueden acceder fácilmente a las cámaras a través del API WebCamTexture de Unity. Sin embargo, este API solo admite una cámara a la vez. Meta ha publicado muestras oficiales de Unity en GitHub, y el ingeniero de software de Meta, Roberto Coviello, ha publicado QuestCameraKit, una colección de muestras adicionales.
El futuro de la realidad mixta en Binarybox Studios
En Binarybox Studios, estamos entusiasmados con las posibilidades que ofrece el API de Cámara Passthrough de Quest. Creemos que esta tecnología será fundamental para el desarrollo de experiencias de realidad mixta innovadoras y atractivas. La capacidad de integrar el mundo físico y virtual de forma fluida abrirá nuevas oportunidades para la creación de aplicaciones en diversos sectores, desde el entretenimiento y la educación hasta la industria y la salud. Estamos preparados para explorar y aprovechar al máximo esta nueva capacidad en nuestros proyectos.
Conclusión
El lanzamiento del API de Cámara Passthrough de Quest marca un hito en el desarrollo de la realidad mixta. Aunque su disponibilidad inicial es limitada, este avance promete transformar la forma en que interactuamos con el mundo virtual y físico. La capacidad de integrar el mundo real en las experiencias virtuales abrirá un abanico de posibilidades para los desarrolladores, impulsando la creación de aplicaciones innovadoras y atractivas.
Preguntas y respuestas
- ¿Qué es el API de Cámara Passthrough de Quest? Un API que permite a los desarrolladores acceder a las cámaras del Quest para crear aplicaciones de realidad mixta.
- ¿Qué tipo de aplicaciones se pueden crear con este API? Aplicaciones que integran el mundo físico y virtual, como juegos, herramientas empresariales y aplicaciones educativas.
- ¿Cuál es la resolución y latencia del flujo de la cámara passthrough? 1280×960 por cámara a 30FPS y 40-60 milisegundos de latencia.
- ¿Está disponible el API para aplicaciones en la Meta Horizon Store? No, inicialmente solo está disponible para experimentación y distribución a través de plataformas como SideQuest.
Binarybox Studios | Conectamos mundos, creamos experiencias