AWP en Oculus Quest 2

Oculus Quest 2 es un visor de realidad virtual (RV) creado por Oculus, una división de Meta. Ahora, los desarrolladores pueden crear y distribuir apps web progresivas (AWP) en 2D y 3D que aprovechan la función de multitarea de Oculus Quest 2.

Oculus Quest 2

Oculus Quest 2 es un visor de realidad virtual (RV) creado por Oculus, una división de Meta. Es el sucesor del visor anterior de la empresa, el Oculus Quest. El dispositivo puede funcionar como un visor independiente con un sistema operativo interno basado en Android y con software de RV compatible con Oculus que se ejecuta en una computadora de escritorio cuando se conecta a través de USB o Wi-Fi. Usa el sistema en chip Snapdragon XR2 de Qualcomm con 6 GB de RAM. La pantalla del Quest 2 es un panel LCD único de cambio rápido con una resolución de 1,832 × 1,920 píxeles por ojo que se ejecuta con una frecuencia de actualización de hasta 120 Hz.

Dispositivo Oculus Quest 2 con controles.

El navegador de Oculus

Actualmente, hay tres navegadores disponibles para Oculus Quest 2: Wolvic, un sucesor de Firefox Reality, y el navegador Oculus integrado. Este artículo se centra en esta última opción. En el sitio web de Oculus, se presenta el navegador de Oculus de la siguiente manera.

"El navegador de Oculus es compatible con los estándares web más recientes y otras tecnologías para ayudarte a crear experiencias de RV en la Web. Los sitios web en 2D actuales funcionan muy bien en el navegador Oculus porque se basan en el motor de renderización de Chromium. Además, se optimizó para los visores de Oculus con el objetivo de obtener el mejor rendimiento y permitir que los desarrolladores web aprovechen todo el potencial de la RV con nuevas APIs, como WebXR. A través de WebXR, abrimos las puertas a la próxima frontera de la Web".

Navegador de Oculus con tres ventanas abiertas.

Usuario-agente

En el momento de escribir este artículo, la cadena de usuario-agente del navegador es la siguiente.

Mozilla/5.0 (X11; Linux x86_64; Quest 2)
AppleWebKit/537.36 (KHTML, like Gecko)
OculusBrowser/18.1.0.2.46.337441587
SamsungBrowser/4.0
Chrome/95.0.4638.74
VR
Safari/537.36

Como puedes ver, la versión actual 18.1.0.2.46.337441587 del navegador Oculus se basa en Chrome 95.0.4638.74, que es solo una versión anterior a la versión estable actual de Chrome, que es 96.0.4664.110. Si el usuario cambia al modo para dispositivos móviles, VR cambia a Mobile VR.

Página Acerca de del navegador Oculus

Interfaz de usuario

La interfaz de usuario del navegador (que se muestra arriba) tiene las siguientes funciones (fila superior de izquierda a derecha):

  • Botón Atrás
  • Botón "Volver a cargar"
  • Información del sitio
  • Barra de URL
  • Botón Crear marcador
  • Botón para cambiar el tamaño con opciones de ancho estrecho, medio y amplio, así como una función de zoom
  • Botón para solicitar el sitio web para dispositivos móviles
  • Botón de menú con las siguientes opciones:
    • Ingresa al modo privado
    • Cerrar todas las pestañas
    • Configuración
    • Favoritos
    • Descargas
    • Historial
    • Borrar datos de navegación

La fila inferior incluye las siguientes funciones:

  • Botón de cerrar
  • Botón para minimizar
  • Botón de tres puntos con las opciones para retroceder, avanzar y volver a cargar

Frecuencia de actualización y proporción de píxeles del dispositivo

En Oculus Quest 2, Oculus Browser renderiza el contenido de la página web en 2D y WebXR con una frecuencia de actualización de 90 Hz. Cuando se mira contenido multimedia en pantalla completa, el navegador de Oculus optimiza la frecuencia de actualización del dispositivo según la velocidad de fotogramas del video, por ejemplo, 24 fps. Oculus Quest 2 tiene una relación de píxeles del dispositivo de 1.5 para que el texto sea nítido.

AWP en el navegador Oculus y en Oculus Store

El 28 de octubre de 2021, Jacob Rossi, gerente de producto de Meta (Oculus), compartió que las PWA llegarían a Oculus Quest y Oculus Quest 2. A continuación, describo la experiencia de las AWP en Oculus y explico cómo compilar, realizar sideloading y probar tu AWP en Oculus Quest 2.

Uso compartido de estados

El estado de acceso se comparte entre el navegador de Oculus y las AWP, lo que permite que los usuarios cambien sin problemas entre ambos. Por supuesto, el Acceso con Facebook es compatible de forma predeterminada. El navegador de Oculus incluye un administrador de contraseñas que permite a los usuarios almacenar y compartir sus contraseñas de forma segura entre el navegador y las experiencias en las apps instaladas.

Tamaños de ventana de las AWP

El usuario puede cambiar el tamaño de las ventanas del navegador y de las de las PWA instaladas. La altura puede variar entre 625 px y 1,200 px. El ancho se puede establecer entre 400 px y 2,000 px. Las dimensiones predeterminadas son 1,000 × 625 px.

Interactúa con las AWP

Las PWA se pueden controlar con los controles izquierdo y derecho de Oculus, con teclados y mouses Bluetooth, y con el monitoreo de manos. El desplazamiento se realiza con los sticks analógicos de los controles de Oculus o pellizcando el pulgar y el índice, y moviéndolos en la dirección deseada. Para seleccionar un elemento, el usuario puede apuntar y pellizcar.

Permisos para las AWP

Los permisos en el navegador de Oculus funcionan de manera muy similar a los de Chrome. El estado se comparte entre las apps que se ejecutan en el navegador y las AWP instaladas, por lo que los usuarios pueden alternar entre las dos experiencias sin tener que volver a otorgar los mismos permisos.

Si bien se implementan muchos permisos, no se admiten todas las funciones. Por ejemplo, si bien la solicitud del permiso de ubicación geográfica se realiza correctamente, el dispositivo nunca obtiene una ubicación. Del mismo modo, las diversas APIs de hardware, como WebHID, Web Bluetooth, etc., pasan la detección de funciones, pero no muestran un selector que permita al usuario vincular Oculus con un dispositivo de hardware. Supongo que la detección de funciones de las APIs se perfeccionará una vez que el navegador madure.

Permisos en el navegador de Oculus

Depura las AWP con las Herramientas para desarrolladores de Chrome

Después de habilitar el modo de desarrollador, la depuración de las AWP en Oculus Quest 2 funciona exactamente como se describe en Cómo depurar dispositivos Android de forma remota.

  1. En el dispositivo Oculus, navega al sitio que quieras en el navegador Oculus.
  2. Inicia Google Chrome en tu computadora y navega a chrome://inspect/#devices.
  3. Busca el dispositivo Oculus en cuestión, que estará seguido de un conjunto de pestañas del navegador de Oculus que estén abiertas en el dispositivo.
  4. Haz clic en inspect en la pestaña deseada del navegador Oculus.

Inspecciona una app que se ejecuta en Oculus Quest 2 con las Herramientas para desarrolladores de Chrome.

Descubrimiento de apps

Las personas pueden usar el navegador o la Oculus Store para descubrir las AWP. Al igual que con cualquier otro navegador, las AWP instaladas también funcionan en Oculus Browser como sitios web que se ejecutan en una pestaña. Cuando un usuario visite un sitio, el navegador de Oculus lo ayudará a descubrir la app si (y solo si) está disponible en Oculus Store. En el caso de los usuarios que ya tienen la app instalada, el navegador Oculus los ayudará a cambiar fácilmente a la app si así lo desean.

Oculus Browser invita al usuario en un mensaje para que instale la app de MyEmail.

AWP ejemplares en Oculus Quest 2

AWP de Meta

Varias divisiones de Meta crearon AWP para Oculus Quest 2, por ejemplo, Instagram y Facebook. Estas PWA se ejecutan en ventanas de apps independientes que no tienen una barra de URL y que se pueden cambiar de tamaño libremente.

App de Facebook Oculus Quest 2

App de Instagram para Oculus Quest 2

PWA de otros desarrolladores

En el momento de escribir este artículo, hay una cantidad pequeña, pero creciente, de PWA para Oculus Quest 2 en Oculus Store. Spike permite que los usuarios experimenten todas las herramientas de trabajo esenciales, como correo electrónico, chat, llamadas, notas, tareas y pendientes, desde su recibidos en un centro de entorno virtual directamente en la app de Spike.

App de Spike para Oculus Quest 2

Otro ejemplo es Smartsheet, un espacio de trabajo dinámico que proporciona administración de proyectos, flujos de trabajo automatizados y creación rápida de soluciones nuevas.

Se lanzarán más PWA, como Slack, Dropbox o Canva, como se muestra en un video con Jacob Rossi que se lanzó en el contexto de la conferencia Connect de Facebook en 2021.

Cómo crear PWA para Oculus

Meta describió los pasos necesarios en su documentación. En general, las PWA que se pueden instalar en Chrome deberían funcionar de inmediato en Oculus.

Requisitos del manifiesto de la app web

Existen algunas diferencias importantes en comparación con los criterios de instalación de Chrome y la especificación del manifiesto de la app web. Por ejemplo, Oculus solo admite idiomas de izquierda a derecha en este momento, mientras que la especificación del manifiesto de la app web no aplica tales restricciones. Otro ejemplo es start_url, que Chrome requiere estrictamente para que se pueda instalar una app, pero que en Oculus es opcional. Oculus ofrece una herramienta de línea de comandos que permite a los desarrolladores crear AWP para Oculus Quest 2, lo que les permite pasar los parámetros faltantes (o anular los existentes) en el manifiesto de la app web.

Nombre Descripción
name (Obligatorio) El nombre de la PWA. Actualmente, Oculus solo admite idiomas que se escriben de izquierda a derecha para el nombre.
display (Obligatorio) "standalone" o "minimal-ui". Por el momento, Oculus no admite ningún otro valor.
short_name (Obligatorio) Una versión más corta del nombre de la app, si es necesario.
scope (Opcional) La URL o las rutas de acceso que se deben considerar como parte de la app.
start_url (Opcional) Es la URL que se mostrará cuando se inicie la app.

Oculus tiene varios campos propios opcionales del manifiesto de la app web que se pueden usar para personalizar la experiencia de la AWP.

Nombre Descripción
ovr_package_name (Opcional) Establece el nombre del paquete del APK generado para la AWP. Debe estar en la notación de nombre de dominio inverso, p.ej., "com.company.app.pwa". Si no se establece, los desarrolladores deben proporcionar un nombre de paquete a la herramienta de línea de comandos con el parámetro --package-name (que, en ese caso, es obligatorio).
ovr_multi_tab_enabled (Opcional) Si es true, este campo booleano le dará a la AWP una barra de pestañas similar a la del navegador Oculus. En las AWP de varias pestañas, los vínculos internos que se dirigen a una pestaña nueva (target="_new" o target="_blank") se abrirán en pestañas nuevas dentro de la ventana de la AWP. Esto difiere de las PWA de una sola pestaña, en las que esos vínculos se abrirían en una ventana del navegador de Oculus. Actualmente, esta función se está estandarizando como modo de aplicación con pestañas.
ovr_scope_extensions (Opcional) Permite que una AWP incluya más páginas web dentro del alcance de la aplicación web. Consiste en un diccionario JSON que contiene URLs de extensiones o patrones de comodines. Actualmente, esta función se está estandarizando como Scope Extensions for Web Apps.

Empaqueta las AWP con la CLI de Bubblewrap

Bubblewrap es un conjunto de bibliotecas de código abierto y una herramienta de línea de comandos (CLI) para Node.js. Bubblewrap es una herramienta desarrollada por el equipo de Google Chrome para ayudar a los desarrolladores a generar, compilar y firmar un proyecto de Android que inicie tu AWP como una Actividad web de confianza (TWA).

Actualmente, el navegador Meta Quest no admite por completo las TWA, pero, a partir de la versión 1.18.0, Bubblewrap admite el empaquetado de las AWP para dispositivos Meta Quest.

Puede generar archivos APK universales que abren una TWA en dispositivos Android normales y el navegador de Meta Quest en dispositivos Meta Quest.

Si tienes instalado Node.js, puedes instalar la CLI de Bubblewrap con el siguiente comando:

npm i -g @bubblewrap/cli

Cuando ejecutes Bubblewrap por primera vez, se ofrecerá descargar e instalar automáticamente las dependencias externas requeridas: el kit de desarrollo de Java (JDK) y las herramientas de compilación del SDK de Android.

Para generar un proyecto de Android compatible con Meta Quest que incluya tu PWA, ejecuta el comando init con la marca --metaquest y sigue el asistente:

bubblewrap init --manifest="https://your.web.app/manifest.json" --metaquest

Una vez que se haya generado el proyecto, compílalo y fírmalo ejecutando lo siguiente:

bubblewrap build

Esto generará un archivo llamado app-release-signed.apk. Este archivo se puede instalar en el dispositivo o publicar en Meta Quest Store, Google Play Store o cualquier otra plataforma de distribución de apps para Android.

Empaqueta las PWA con Oculus Platform Utility

Oculus Platform Utility es la herramienta de línea de comandos oficial desarrollada por Meta para publicar apps para dispositivos Oculus Rift y Meta Quest.

También permite empaquetar las AWP para dispositivos Meta Quest con el comando create-pwa y publicarlas en Meta Quest Store y App Lab.

Establece el nombre del archivo de salida con el parámetro -o y la ruta de acceso al SDK de Android con el parámetro --android-sdk.

Apunta la herramienta a la URL publicada del manifiesto de la app web con el parámetro --web-manifest-url.

Si no tienes un manifiesto en tu PWA publicada o deseas anular el manifiesto publicado, puedes generar un APK para tu PWA con un archivo de manifiesto local y el parámetro --manifest-content-file.

Para que el manifiesto sea lo más puro posible, usa el parámetro --package-name con un valor en notación de nombre de dominio inverso (por ejemplo, com.company.app.pwa), en lugar de agregar el campo ovr_package_name de propiedad exclusiva al manifiesto.

ovr-platform-util create-pwa -o output.apk --android-sdk ~/bin/android-10 --manifest-content-file manifest.json --package-name com.company.app.pwa

Empaqueta AWP con PWABuilder

En opinión de los autores, usar PWABuilder es la forma más sencilla y, por lo tanto, recomendada de empaquetar las AWP para Meta Quest en este momento.

PWABuilder es un proyecto de código abierto desarrollado por Microsoft que permite a los desarrolladores empaquetar y firmar sus PWA para publicarlas en varias tiendas de aplicaciones, incluidas Microsoft Store, Google Play Store, App Store y Meta Quest Store.

Empaquetar AWP con PWABuilder es tan fácil como ingresar la URL de una AWP, ingresar o editar los metadatos de la app y hacer clic en el botón Generate.

PWABuilder les da a los desarrolladores la opción de elegir qué herramienta interna usar para empaquetar las AWP para dispositivos Meta Quest.

Puedes elegir la opción Meta Quest para usar la utilidad de la plataforma de Oculus.

Opciones de empaquetado de PWABuilder.

Puedes elegir la opción Android para usar Bubblewrap y seleccionar la casilla de verificación Compatible con Meta Quest.

Empaqueta las AWP con PWABuilder usando Bubblewrap.

Cómo instalar AWP con ADB

Después de crear el archivo APK, puedes realizar la carga lateral en el dispositivo Meta Quest con ADB a través de USB o Wi-Fi:

adb install app-release-signed.apk

Si usas la CLI de Bubblewrap para empaquetar las AWP, se proporciona un comando de alias conveniente para realizar la carga lateral del archivo APK:

bubblewrap install

Las apps de instalación de fuentes externas aparecen en la sección Fuentes desconocidas del panel de apps.

Envío de la app

La carga y el envío de las PWA a Oculus Store se explican en detalle en los documentos del Developer Center de Oculus.

Además de enviar apps a Oculus Store, los desarrolladores también pueden distribuirlas a través de plataformas como SideQuest directamente a los consumidores de forma segura, sin necesidad de la aprobación de la tienda. Esto les permite llevar una app directamente a los usuarios finales, incluso si se encuentra en una etapa temprana de desarrollo, es experimental o está dirigida a un público único.

Cómo probar apps con varias pestañas

Para probar las apps de varias pestañas, creé una pequeña PWA de prueba que demuestra las distintas funciones de los vínculos: abrir una nueva pestaña en la PWA, permanecer en la pestaña actual, abrir una nueva ventana del navegador y abrir en una WebView que permanezca en la pestaña actual. Crea una copia de esta app que se pueda instalar de forma local ejecutando los siguientes comandos en tu máquina.

ovr-platform-util create-pwa -o test.apk --android-skd ~/bin/android-10 --web-manifest-url https://tomayac.github.io/oculus-pwa-test/manifest.json --package-name com.example.pwa
adb install test.apk

Aquí tienes una grabación de pantalla de la app de prueba.

Una versión de SVGcode para Oculus

Para probar las instrucciones, creé una versión para Oculus de mi PWA más reciente, SVGcode. Puedes descargar el archivo APK resultante output.apk desde mi Google Drive. Si quieres investigar más el paquete, también tengo una versión descompilada. Busca las instrucciones de compilación en package.json.

La app funciona bien en Oculus, incluida la capacidad de abrir y guardar archivos. El navegador Oculus no admite la API de acceso al sistema de archivos, pero el enfoque de resguardo ayuda. Lo único que no funcionó fue el gesto de pellizcar para hacer zoom. Esperaba que funcionara presionando el botón de activación en ambos controles y, luego, moviéndolos en direcciones opuestas. Aparte de eso, todo lo demás fue eficiente y responsivo, como puedes ver en la grabación de pantalla incorporada.

AWP de WebXR en 3D envolventes

La compatibilidad con las AWP en Oculus Quest no se limita a las apps en 2D planas. Los desarrolladores pueden crear experiencias envolventes en 3D para RV con la API de WebXR.

¿Te preguntas cómo se manejan las diversas instrucciones (instalación de PWA, solicitudes de permiso, notificaciones) desde la RV, si es que se manejan?

Aquí tienes una grabación de pantalla de la prueba de mensajes del usuario-agente de las pruebas de WebXR del Immersive Web Working Group.

Como puedes ver, para ingresar al modo RV, se requiere el permiso del usuario. Los permisos se solicitan una vez por origen. Cuando se solicitan permisos, se sale del modo envolvente. Por el momento, no se admiten las notificaciones.

Monitoreo de manos

Puedes usar las manos para interactuar con las PWA en el modo envolvente gracias a la API de WebXR Hand Input y al sistema de monitoreo de manos basado en IA de Meta.

Aquí tienes una grabación de pantalla de la muestra de seguimiento de manos de las muestras de WebXR del Immersive Web Working Group.

Realidad aumentada o mixta (Passthrough)

Como se anunció en Meta Connect 2022, el navegador de Meta Quest agregó compatibilidad con la realidad aumentada (RA) de WebXR, también conocida como realidad mixta (RM), en los dispositivos Meta Quest 2 y Meta Quest Pro.

Veamos un ejemplo de inicio de A-Frame modificado ligeramente con modelos reducidos y cielo y plano ocultos para la realidad aumentada.

A-Frame es un framework web de código abierto para crear experiencias de 3D, RV y RA completamente a partir de elementos HTML personalizados declarativos y reutilizables que son fáciles de leer, comprender y copiar y pegar.

Aquí tienes una grabación de pantalla de esta demostración en Meta Quest 2.

Meta Quest 2 tiene cámaras monocromáticas, por lo que la transferencia es en escala de grises, mientras que Meta Quest Pro tiene cámaras a color.

Conclusiones

Las PWA en Oculus Quest 2 son muy divertidas y prometedoras. El lienzo virtual infinito que permite a los usuarios ajustar la pantalla a lo que mejor se adapte a la tarea actual tiene un gran potencial para cambiar la forma en que trabajamos en el futuro. Si bien escribir en RV con el monitoreo de manos aún está en sus inicios y, al menos para mí, todavía no funciona de manera muy confiable, funciona lo suficientemente bien como para ingresar URLs o escribir textos cortos.

Lo que más me gusta de las AWP en Oculus Quest 2 es que son solo AWP normales que se pueden usar sin cambios en una pestaña del navegador o a través de un wrapper de APK delgado sin ninguna API específica de la plataforma. Segmentar varias plataformas con el mismo código nunca fue tan fácil. Por las PWA en RV y RA en la Web. ¡El futuro es brillante!

Agradecimientos

Foto de Oculus Quest 2 de Maximilian Prandstätter en Flickr. Las imágenes de Oculus Store de las apps de Instagram, Facebook, Oculus Browser y Spike, así como la ilustración de visibilidad de la app y la animación de monitoreo de manos, son cortesía de Meta. Joe Medley revisó esta publicación.