Das immersive Web umfasst virtuelle Welten, die über den Browser gehostet werden. Diese gesamte Virtual-Reality-Erfahrung wird im Browser oder auf VR-fähigen Headsets angezeigt.
Das immersive Web umfasst virtuelle Welten, die über den Browser gehostet werden. Dazu gehören Virtual Reality-Erlebnisse (VR), die im Browser oder in VR-fähigen Headsets wie Daydream von Google, Oculus Rift, Samsung Gear VR, HTC Vive und Windows Mixed Reality-Headsets angezeigt werden, sowie Augmented Reality-Erlebnisse (AR), die für AR-fähige Mobilgeräte entwickelt wurden.
Obwohl wir zwei Begriffe verwenden, um immersive Erlebnisse zu beschreiben, sollten sie als ein Spektrum von der vollständigen Realität bis zu einer vollständig immersiven VR-Umgebung mit verschiedenen AR-Stufen dazwischen betrachtet werden.
Beispiele für immersive Erlebnisse:
- Immersive 360°-Videos
- Herkömmliche 2D- oder 3D-Videos, die in einer immersiven Umgebung präsentiert werden
- Datenvisualisierung
- Shopping-Startseite
- Kunst
- Etwas Cooles, an das noch niemand gedacht hat
Wie komme ich dorthin?
Das immersive Web ist seit fast einem Jahr in einer frühen Form verfügbar. Dies erfolgte über die WebVR 1.1 API, die seit Chrome 62 in einem Ursprungstest verfügbar ist. Diese API wird auch von Firefox und Edge sowie von einem Polyfill für Safari unterstützt.
Aber es ist Zeit, weiterzumachen.
Der Ursprungstest endete am 24. Juli 2018 und die Spezifikation wurde durch die WebXR Device API und einen neuen Ursprungstest ersetzt.
Was ist mit WebVR 1.1 passiert?
Wir haben viel von WebVR 1.1 gelernt, aber im Laufe der Zeit wurde klar, dass einige größere Änderungen erforderlich waren, um die Arten von Anwendungen zu unterstützen, die Entwickler erstellen möchten. Die vollständige Liste der gewonnenen Erkenntnisse ist zu lang, um hier darauf einzugehen. Sie umfasst jedoch Probleme wie die explizite Bindung der API an den JavaScript-Hauptthread, zu viele Möglichkeiten für Entwickler, offensichtlich falsche Konfigurationen einzurichten, und gängige Verwendungen wie das Magic Window, das eher ein Nebeneffekt als eine beabsichtigte Funktion ist. (Magic Window ist eine Technik, mit der immersive Inhalte ohne Headset angesehen werden können. Die App rendert dabei eine einzelne Ansicht basierend auf dem Ausrichtungssensor des Geräts.)
Das neue Design ermöglicht einfachere Implementierungen und große Leistungsverbesserungen. Gleichzeitig kamen AR und andere Anwendungsfälle auf und es wurde wichtig, dass die API erweiterbar ist, um diese in Zukunft zu unterstützen.
Die WebXR Device API wurde mit Blick auf diese erweiterten Anwendungsfälle entwickelt und benannt und bietet einen besseren Weg für die Zukunft. Die Entwickler von WebVR haben sich verpflichtet, zur WebXR Device API zu migrieren.
Was ist die WebXR Device API?
Wie die WebVR-Spezifikation davor ist die WebXR Device API ein Produkt der Immersive Web Community Group, zu der unter anderem Google, Microsoft und Mozilla gehören. Das „X“ in XR ist als eine Art algebraische Variable gedacht, die für alles im Spektrum immersiver Erlebnisse steht. Sie ist im zuvor erwähnten Ursprungstest sowie über ein Polyfill verfügbar.
Als dieser Artikel während der Betaphase von Chrome 67 veröffentlicht wurde, waren nur VR-Funktionen aktiviert. Augmented Reality ist seit Chrome 69 verfügbar. Weitere Informationen finden Sie unter Augmented Reality für das Web.
Diese neue API bietet mehr, als ich in einem Artikel wie diesem beschreiben kann. Ich möchte Ihnen genug Informationen geben, damit Sie die WebXR-Beispiele verstehen können. Weitere Informationen findest du in der ursprünglichen Erläuterung und in unserem Leitfaden für erste Nutzer des immersiven Webs. Letzteres werde ich im Laufe des Ursprungstests erweitern. Sie können jederzeit Probleme melden oder Pull-Anfragen einreichen.
In diesem Artikel geht es um das Starten, Beenden und Ausführen einer XR-Sitzung sowie um einige Grundlagen zur Verarbeitung von Eingaben.
Ich werde nicht darauf eingehen, wie AR-/VR-Inhalte auf dem Bildschirm dargestellt werden. Die WebXR Device API bietet keine Funktionen zum Rendern von Bildern. Es liegt ganz bei dir. Das Zeichnen erfolgt über WebGL APIs. Das können Sie tun, wenn Sie wirklich ehrgeizig sind. Wir empfehlen jedoch, ein Framework zu verwenden. In den Beispielen für das immersive Web wird ein Framework namens Cottontail verwendet, das speziell für die Demos erstellt wurde. Three.js unterstützt WebXR seit Mai. Über A-Frame habe ich nichts gehört.
App starten und ausführen
Der grundlegende Ablauf ist folgender:
- Fordern Sie ein XR-Gerät an.
- Wenn sie verfügbar ist, fordern Sie eine XR-Sitzung an. Wenn der Nutzer sein Smartphone in ein Headset einsetzen soll, wird dies als immersive Sitzung bezeichnet und erfordert eine Nutzergeste, um die Sitzung zu starten.
- Verwenden Sie die Sitzung, um eine Renderschleife auszuführen, die 60 Bilder pro Sekunde liefert. Zeichne in jedem Frame die entsprechenden Inhalte auf dem Bildschirm.
- Führe die Renderschleife aus, bis der Nutzer die App beendet.
- Beendet die XR-Sitzung.
Sehen wir uns das genauer an und fügen wir etwas Code hinzu. Sie können mit dem, was ich Ihnen gleich zeige, keine App ausführen. Aber auch hier geht es nur darum, einen Eindruck zu vermitteln.
XR-Gerät anfordern
Hier erkennen Sie den Code für die Standardfunktionen. Sie könnten dies in einer Funktion mit einem Namen wie checkForXR() verpacken.
Wenn du keine immersive Sitzung verwendest, kannst du die Funktion überspringen und eine Nutzergeste abrufen und direkt eine Sitzung anfordern. Eine immersive Sitzung ist eine Sitzung, für die ein Headset erforderlich ist. Bei einer nicht immersiven Sitzung werden Inhalte einfach auf dem Display des Geräts angezeigt. An Ersteres denken die meisten Menschen, wenn von Virtual Reality oder Augmented Reality die Rede ist. Letzteres wird manchmal als „magisches Fenster“ bezeichnet.
if (navigator.xr) {
navigator.xr.requestDevice()
.then(xrDevice => {
// Advertise the AR/VR functionality to get a user gesture.
})
.catch(err => {
if (err.name === 'NotFoundError') {
// No XRDevices available.
console.error('No XR devices available:', err);
} else {
// An error occurred while requesting an XRDevice.
console.error('Requesting XR device failed:', err);
}
})
} else{
console.log("This browser does not support the WebXR API.");
}
XR-Sitzung anfordern
Nachdem wir unser Gerät und unsere Nutzergeste haben, ist es an der Zeit, eine Sitzung zu starten. Zum Erstellen einer Sitzung benötigt der Browser einen Canvas, auf dem er zeichnen kann.
xrPresentationContext = htmlCanvasElement.getContext('xrpresent');
let sessionOptions = {
// The immersive option is optional for non-immersive sessions; the value
// defaults to false.
immersive: false,
outputContext: xrPresentationContext
}
xrDevice.requestSession(sessionOptions)
.then(xrSession => {
// Use a WebGL context as a base layer.
xrSession.baseLayer = new XRWebGLLayer(session, gl);
// Start the render loop
})
Rendering-Schleife ausführen
Der Code für diesen Schritt ist etwas kompliziert. Um das zu entwirren, werde ich Ihnen jetzt eine Reihe von Begriffen an den Kopf werfen. Wenn Sie sich den endgültigen Code ansehen möchten, springen Sie vorwärts, um einen kurzen Blick darauf zu werfen, und kehren Sie dann für die vollständige Erklärung zurück. Es gibt einiges, was Sie möglicherweise nicht ableiten können.
Der grundlegende Ablauf einer Renderschleife sieht so aus:
- Animationsframe anfordern
- Position des Geräts abfragen.
- Inhalte werden basierend auf der Position des Geräts an der entsprechenden Position dargestellt.
- Führen Sie die erforderlichen Arbeiten für die Eingabegeräte aus.
- Wiederhole den Vorgang 60-mal pro Sekunde, bis der Nutzer das Spiel beendet.
Präsentationsframe anfordern
Das Wort „Frame“ hat im WebXR-Kontext mehrere Bedeutungen. Der erste ist der Bezugsrahmen, der definiert, von wo aus der Ursprung des Koordinatensystems berechnet wird und was mit diesem Ursprung passiert, wenn sich das Gerät bewegt. (Bleibt die Ansicht gleich, wenn sich der Nutzer bewegt, oder ändert sie sich wie im echten Leben?)
Der zweite Frame-Typ ist der Präsentations-Frame, der durch ein XRFrame-Objekt dargestellt wird. Dieses Objekt enthält die Informationen, die zum Rendern eines einzelnen Frames einer AR/VR-Szene auf dem Gerät erforderlich sind. Das ist etwas verwirrend, da ein Präsentationsframe durch Aufrufen von requestAnimationFrame() abgerufen wird.
Dadurch ist es mit window.requestAnimationFrame() kompatibel.
Bevor ich Ihnen noch mehr Informationen gebe, zeige ich Ihnen etwas Code. Im Beispiel unten wird gezeigt, wie die Rendering-Schleife gestartet und beibehalten wird. Beachten Sie die doppelte Verwendung des Wortes „Frame“. Beachten Sie den rekursiven Aufruf von requestAnimationFrame(). Diese Funktion wird 60-mal pro Sekunde aufgerufen.
xrSession.requestFrameOfReference('eye-level')
.then(xrFrameOfRef => {
xrSession.requestAnimationFrame(onFrame(time, xrFrame) {
// The time argument is for future use and not implemented at this time.
// Process the frame.
xrFrame.session.requestAnimationFrame(onFrame);
}
});
Posen
Bevor du etwas auf dem Bildschirm zeichnest, musst du wissen, wohin das Anzeigegerät zeigt, und du benötigst Zugriff auf den Bildschirm. Im Allgemeinen wird die Position und Ausrichtung eines Objekts in AR/VR als Pose bezeichnet. Sowohl Betrachter als auch Eingabegeräte haben eine Pose. (Eingabegeräte werden später behandelt.) Sowohl die Position des Betrachters als auch die des Eingabegeräts werden als 4 × 4-Matrix definiert, die in einem Float32Array in spaltenweiser Reihenfolge gespeichert ist. Sie rufen die Pose des Betrachters ab, indem Sie XRFrame.getDevicePose() für das aktuelle Animationsframe-Objekt aufrufen.
Prüfen Sie immer, ob Sie eine Pose zurückerhalten haben. Wenn etwas schiefgelaufen ist, möchten Sie nichts auf dem Bildschirm zeichnen.
let pose = xrFrame.getDevicePose(xrFrameOfRef);
if (pose) {
// Draw something to the screen.
}
Aufrufe
Nachdem du die Pose überprüft hast, ist es an der Zeit, etwas zu zeichnen. Das Objekt, auf das Sie zeichnen, wird als Ansicht (XRView) bezeichnet. Hier wird der Sitzungstyp wichtig. Ansichten werden aus dem XRFrame-Objekt als Array abgerufen. Wenn Sie sich in einer nicht immersiven Sitzung befinden, enthält das Array eine Ansicht. In einer immersiven Sitzung enthält das Array zwei, eines für jedes Auge.
for (let view of xrFrame.views) {
// Draw something to the screen.
}
Das ist ein wichtiger Unterschied zwischen WebXR und anderen immersiven Systemen. Es mag sinnlos erscheinen, eine einzelne Ansicht zu durchlaufen, aber so können Sie einen einzigen Rendering-Pfad für eine Vielzahl von Geräten verwenden.
Die gesamte Renderschleife
Wenn ich das alles zusammenfüge, erhalte ich den folgenden Code. Ich habe einen Platzhalter für die Eingabegeräte eingefügt, die ich in einem späteren Abschnitt behandeln werde.
xrSession.requestFrameOfReference('eye-level')
.then(xrFrameOfRef => {
xrSession.requestAnimationFrame(onFrame(time, xrFrame) {
// The time argument is for future use and not implemented at this time.
let pose = xrFrame.getDevicePose(xrFrameOfRef);
if (pose) {
for (let view of xrFrame.views) {
// Draw something to the screen.
}
}
// Input device code will go here.
frame.session.requestAnimationFrame(onFrame);
}
}
XR-Sitzung beenden
Eine XR-Sitzung kann aus verschiedenen Gründen beendet werden, z. B. durch Ihren eigenen Code über einen Aufruf von XRSession.end(). Andere Ursachen sind, dass das Headset getrennt wurde oder eine andere Anwendung die Kontrolle darüber übernommen hat. Deshalb sollte eine gut funktionierende Anwendung das Endereignis überwachen und die Sitzungs- und Rendererobjekte verwerfen, wenn es auftritt. Eine beendete XR-Sitzung kann nicht fortgesetzt werden.
xrDevice.requestSession(sessionOptions)
.then(xrSession => {
// Create a WebGL layer and initialize the render loop.
xrSession.addEventListener('end', onSessionEnd);
});
// Restore the page to normal after immersive access has been released.
function onSessionEnd() {
xrSession = null;
// Ending the session stops executing callbacks passed to the XRSession's
// requestAnimationFrame(). To continue rendering, use the window's
// requestAnimationFrame() function.
window.requestAnimationFrame(onDrawFrame);
}
Wie funktioniert die Interaktion?
Wie bei der Lebensdauer der Anwendung möchte ich Ihnen nur einen Vorgeschmack darauf geben, wie Sie mit Objekten in AR oder VR interagieren können.
Die WebXR Device API verwendet einen „Point-and-Click“-Ansatz für Nutzereingaben. Bei diesem Ansatz hat jede Eingabequelle einen definierten Zeigerstrahl, der angibt, wohin ein Eingabegerät zeigt, und Ereignisse, die angeben, wann etwas ausgewählt wurde.
Ihre App zeichnet den Zeigerstrahl und zeigt an, wohin er zeigt. Wenn der Nutzer auf das Eingabegerät klickt, werden Ereignisse ausgelöst, insbesondere select, selectStart und selectEnd. Ihre App ermittelt, worauf geklickt wurde, und reagiert entsprechend.
Eingabegerät und Zeigerstrahl
Für Nutzer ist der Zeigerstrahl nur eine schwache Linie zwischen dem Controller und dem, worauf sie zeigen. Aber Ihre App muss sie zeichnen. Dazu wird die Position des Eingabegeräts ermittelt und eine Linie von seiner Position zu einem Objekt im AR/VR-Bereich gezogen. Dieser Prozess sieht ungefähr so aus:
let inputSources = xrSession.getInputSources();
for (let xrInputSource of inputSources) {
let inputPose = frame.getInputPose(inputSource, xrFrameOfRef);
if (!inputPose) {
continue;
}
if (inputPose.gripMatrix) {
// Render a virtual version of the input device
// at the correct position and orientation.
}
if (inputPose.pointerMatrix) {
// Draw a ray from the gripMatrix to the pointerMatrix.
}
}
Dies ist eine abgespeckte Version des Beispiels für das Eingabe-Tracking der Immersive Web Community Group. Wie beim Frame-Rendering liegt es an Ihnen, den Zeigerstrahl und das Gerät zu zeichnen. Wie bereits erwähnt, muss dieser Code als Teil der Renderschleife ausgeführt werden.
Elemente im virtuellen Raum auswählen
In AR/VR nur auf Dinge zu zeigen, ist ziemlich nutzlos. Damit Nutzer etwas Sinnvolles tun können, müssen sie die Möglichkeit haben, Dinge auszuwählen. Die WebXR Device API bietet drei Ereignisse, um auf Nutzerinteraktionen zu reagieren: select, selectStart und selectEnd. Sie haben eine Eigenart, die ich nicht erwartet habe: Sie teilen Ihnen nur mit, dass auf ein Eingabegerät geklickt wurde. Sie geben nicht an, auf welches Element in der Umgebung geklickt wurde. Event-Handler werden dem XRSession-Objekt hinzugefügt und sollten hinzugefügt werden, sobald es verfügbar ist.
xrDevice.requestSession(sessionOptions)
.then(xrSession => {
// Create a WebGL layer and initialize the render loop.
xrSession.addEventListener('selectstart', onSelectStart);
xrSession.addEventListener('selectend', onSelectEnd);
xrSession.addEventListener('select', onSelect);
});
Dieser Code basiert auf einem Beispiel für die Eingabeauswahl, falls Sie mehr Kontext benötigen.
Um herauszufinden, worauf geklickt wurde, verwenden Sie eine Pose. (Überrascht?) Das dachte ich mir.) Die Details dazu hängen von Ihrer App oder dem von Ihnen verwendeten Framework ab und werden daher in diesem Artikel nicht behandelt. Der Ansatz von Cottontail ist im Beispiel „Input Selection“ zu sehen.
function onSelect(ev) {
let inputPose = ev.frame.getInputPose(ev.inputSource, xrFrameOfRef);
if (!inputPose) {
return;
}
if (inputPose.pointerMatrix) {
// Figure out what was clicked and respond.
}
}
Fazit: Blick in die Zukunft
Wie bereits erwähnt, wird Augmented Reality in Chrome 69 erwartet (Canary irgendwann im Juni 2018). Trotzdem möchte ich dich ermutigen, das auszuprobieren, was wir bisher haben. Wir brauchen Feedback, um es zu verbessern. Sie können den Fortschritt auf ChromeStatus.com unter WebXR Hit Test verfolgen. Sie können auch WebXR-Anker verwenden, um das Pose-Tracking zu verbessern.