Etkileyici web'e hoş geldiniz

Sürükleyici web, tarayıcı üzerinden sunulan sanal dünya deneyimlerini ifade eder. Bu sanal gerçeklik deneyimlerinin tamamı tarayıcıda veya VR özellikli başlıklarda gösterilir.

Joe Medley
Joe Medley

Sürükleyici web, tarayıcı üzerinden sunulan sanal dünya deneyimlerini ifade eder. Bu, tarayıcıda veya Google'ın Daydream, Oculus Rift, Samsung Gear VR, HTC Vive ve Windows Karma Gerçeklik Başlıkları gibi VR özellikli başlıklarda sunulan tüm sanal gerçeklik (VR) deneyimlerinin yanı sıra AR özellikli mobil cihazlar için geliştirilen artırılmış gerçeklik deneyimlerini kapsar.

Sürükleyici deneyimleri tanımlamak için iki terim kullansak da bu terimler, tam gerçeklikten tamamen sürükleyici bir VR ortamına kadar uzanan ve aralarında çeşitli AR seviyeleri bulunan bir spektrum olarak düşünülmelidir.

Sürükleyici deneyimlere örnek olarak şunlar verilebilir:

  • Etkileyici 360° videolar
  • Sürükleyici ortamlarda sunulan geleneksel 2D (veya 3D) videolar
  • Veri görselleştirmeleri
  • Evden alışveriş
  • Sanat
  • Henüz kimsenin düşünmediği harika bir şey

Oraya nasıl giderim?

Sürükleyici web, yaklaşık bir yıldır başlangıç aşamasında kullanılabilir durumdadır. Bu, Chrome 62'den beri kaynak denemesi olarak sunulan WebVR 1.1 API aracılığıyla yapıldı. Bu API, Firefox ve Edge tarafından da desteklenir. Safari için de bir polyfill vardır.

Ancak artık devam etme zamanı geldi.

Kaynak denemesi 24 Temmuz 2018'de sona erdi ve spesifikasyonun yerini WebXR Device API ve yeni bir kaynak denemesi aldı.

WebVR 1.1'e ne oldu?

WebVR 1.1'den çok şey öğrendik ancak zaman içinde, geliştiricilerin oluşturmak istediği uygulama türlerini desteklemek için bazı önemli değişikliklerin yapılması gerektiği anlaşıldı. Öğrenilen derslerin tam listesi burada ele alınamayacak kadar uzun ancak API'nin ana JavaScript iş parçacığına açıkça bağlı olması, geliştiricilerin açıkça yanlış yapılandırmalar oluşturması için çok fazla fırsat olması ve sihirli pencere gibi yaygın kullanımların kasıtlı bir özellik yerine yan etki olması gibi sorunlar yer alıyor. (Sihirli pencere, başlık olmadan etkileyici içerikleri görüntülemek için kullanılan bir tekniktir. Bu teknikte uygulama, cihazın yön sensörüne göre tek bir görünüm oluşturur.)

Yeni tasarım, daha basit uygulamalar ve büyük performans iyileştirmeleri sağlar. Aynı zamanda AR ve diğer kullanım alanları da ortaya çıkıyordu ve API'nin gelecekte bunları destekleyecek şekilde genişletilebilir olması önemli hale geldi.

WebXR Device API, bu genişletilmiş kullanım alanları göz önünde bulundurularak tasarlanıp adlandırıldı ve daha iyi bir yol sunuyor. WebVR'yi uygulayanlar, WebXR Device API'ye geçiş yapmayı taahhüt etmişlerdir.

WebXR Device API nedir?

Önceki WebVR spesifikasyonu gibi WebXR Device API de Google, Microsoft, Mozilla ve diğer şirketlerden katkıda bulunanların yer aldığı Immersive Web Community Group'un bir ürünüdür. XR'daki "X", sürükleyici deneyimler yelpazesindeki her şeyi temsil eden bir tür cebirsel değişken olarak tasarlanmıştır. Bu API, daha önce bahsedilen kaynak denemesinde ve bir polyfill aracılığıyla kullanılabilir.

Bu makale ilk olarak Chrome 67 beta döneminde yayınlandığında yalnızca VR özellikleri etkinleştirilmişti. Artırılmış gerçeklik, Chrome 69'da kullanıma sunuldu. Bu konu hakkında bilgi edinmek için Web için artırılmış gerçeklik başlıklı makaleyi okuyun.

Bu yeni API'nin özellikleri, bu makalede anlatılabileceklerden çok daha fazla. WebXR örneklerini anlamaya başlamanız için yeterli bilgiyi vermek istiyorum. Daha fazla bilgiyi hem orijinal açıklayıcıda hem de Sürükleyici Web İlk Kullanıcılar Kılavuzumuzda bulabilirsiniz. Kaynak denemesi ilerledikçe ikincisini genişleteceğim. Sorun bildirebilir veya pull istekleri gönderebilirsiniz.

Bu makalede, XR oturumu başlatma, durdurma ve çalıştırma konularının yanı sıra girişleri işlemeyle ilgili birkaç temel bilgiyi ele alacağım.

AR/VR içeriğinin ekrana nasıl çizileceğini ise anlatmayacağım. WebXR Device API, görüntü oluşturma özellikleri sunmaz. Bu size bağlıdır. Çizim, WebGL API'leri kullanılarak yapılır. Gerçekten hırslıysanız bunu yapabilirsiniz. Ancak bir çerçeve kullanmanızı öneririz. Etkileşimli web örneklerinde, demolar için özel olarak oluşturulan Cottontail adlı bir örnek kullanılır. Three.js, Mayıs ayından beri WebXR'ı destekliyor. A-Frame hakkında bir şey duymadım.

Uygulama başlatma ve çalıştırma

Temel süreç şu şekildedir:

  1. XR cihazı isteyin.
  2. Kullanılabiliyorsa bir XR oturumu isteyin. Kullanıcının telefonunu başlığa yerleştirmesini istiyorsanız bu, sürükleyici oturum olarak adlandırılır ve girmek için kullanıcı hareketi gerekir.
  3. Oturumu kullanarak saniyede 60 görüntü karesi sağlayan bir oluşturma döngüsü çalıştırın. Her karede ekrana uygun içeriği çizin.
  4. Kullanıcı çıkmaya karar verene kadar oluşturma döngüsünü çalıştırın.
  5. XR oturumunu sonlandırın.

Bu konuyu biraz daha ayrıntılı olarak inceleyelim ve bazı kodlar ekleyelim. Şimdi göstereceğim yöntemle uygulama çalıştıramazsınız. Ancak bu sadece bir fikir vermek için.

XR cihaz talep etme

Burada, standart özellik algılama kodunu göreceksiniz. Bunu checkForXR() gibi bir işlevle sarmalayabilirsiniz.

Sürükleyici bir oturum kullanmıyorsanız işlevi bildirmeyi ve kullanıcı hareketini almayı atlayıp doğrudan oturum isteğinde bulunabilirsiniz. Sürükleyici oturum, başlık gerektiren bir oturumdur. Sürükleyici olmayan bir oturumda içerik yalnızca cihaz ekranında gösterilir. Sanal gerçeklik veya artırılmış gerçeklik dendiğinde çoğu kişinin aklına ilk olarak donanım gelir. İkincisi bazen "sihirli pencere" olarak adlandırılır.

if (navigator.xr) {
    navigator.xr.requestDevice()
    .then(xrDevice => {
    // Advertise the AR/VR functionality to get a user gesture.
    })
    .catch(err => {
    if (err.name === 'NotFoundError') {
        // No XRDevices available.
        console.error('No XR devices available:', err);
    } else {
        // An error occurred while requesting an XRDevice.
        console.error('Requesting XR device failed:', err);
    }
    })
} else{
    console.log("This browser does not support the WebXR API.");
}

XR oturumu isteğinde bulunma

Cihazımızı ve kullanıcı hareketimizi belirlediğimize göre artık oturum oluşturabiliriz. Oturum oluşturmak için tarayıcının çizim yapabileceği bir tuvale ihtiyacı vardır.

xrPresentationContext = htmlCanvasElement.getContext('xrpresent');
let sessionOptions = {
    // The immersive option is optional for non-immersive sessions; the value
    //   defaults to false.
    immersive: false,
    outputContext: xrPresentationContext
}
xrDevice.requestSession(sessionOptions)
.then(xrSession => {
    // Use a WebGL context as a base layer.
    xrSession.baseLayer = new XRWebGLLayer(session, gl);
    // Start the render loop
})

Oluşturma döngüsünü çalıştırma

Bu adımın kodu biraz karmaşıktır. Bu karmaşayı çözmek için birkaç kelime kullanacağım. Nihai koda göz atmak isterseniz ileriye atlayıp hızlıca göz attıktan sonra tam açıklama için geri dönebilirsiniz. Çıkarım yapamayacağınız pek çok şey vardır.

Oluşturma döngüsünün temel süreci şu şekildedir:

  1. Animasyon karesi isteyin.
  2. Cihazın konumunu sorgulama
  3. İçeriği, cihazın konumuna göre cihazın konumuna çizin.
  4. Giriş cihazları için gereken işlemleri yapın.
  5. Kullanıcı çıkmaya karar verene kadar saniyede 60 kez tekrarlayın.

Sunu karesi iste

"Kare" kelimesinin Web XR bağlamında birkaç anlamı vardır. Birincisi, koordinat sisteminin başlangıç noktasının nereden hesaplandığını ve cihaz hareket ettiğinde bu başlangıç noktasına ne olduğunu tanımlayan referans çerçevesidir. (Kullanıcı hareket ettiğinde görünüm aynı mı kalıyor yoksa gerçek hayattaki gibi değişiyor mu?)

İkinci kare türü, XRFrame nesnesiyle temsil edilen sunu karesidir. Bu nesne, bir AR/VR sahnesinin tek bir karesini cihaza oluşturmak için gereken bilgileri içerir. Bu biraz kafa karıştırıcıdır çünkü sunu karesi requestAnimationFrame() çağrılarak alınır. Bu sayede window.requestAnimationFrame() ile uyumlu hale gelir.

Daha fazla bilgi vermeden önce biraz kod göstereceğim. Aşağıdaki örnekte, oluşturma döngüsünün nasıl başlatıldığı ve sürdürüldüğü gösterilmektedir. Kare kelimesinin iki farklı anlamda kullanıldığına dikkat edin. requestAnimationFrame() için özyinelemeli çağrıya dikkat edin. Bu işlev saniyede 60 kez çağrılır.

xrSession.requestFrameOfReference('eye-level')
.then(xrFrameOfRef => {
    xrSession.requestAnimationFrame(onFrame(time, xrFrame) {
    // The time argument is for future use and not implemented at this time.
    // Process the frame.
    xrFrame.session.requestAnimationFrame(onFrame);
    }
});

Pozlar

Ekrana herhangi bir şey çizmeden önce, görüntüleme cihazının nereyi işaret ettiğini bilmeniz ve ekrana erişmeniz gerekir. Genel olarak, AR/VR'da bir nesnenin konumu ve yönü, poz olarak adlandırılır. Hem görüntüleyicilerin hem de giriş cihazlarının bir duruşu vardır. (Giriş cihazlarına daha sonra değineceğim.) Hem izleyici hem de giriş cihazı pozları, sütun öncelikli düzende bir Float32Array içinde depolanan 4'e 4 matris olarak tanımlanır. Mevcut animasyon karesi nesnesinde XRFrame.getDevicePose() işlevini çağırarak izleyicinin pozunu alırsınız. Pozun geri gelip gelmediğini her zaman test edin. Bir sorun oluştuysa ekrana çizim yapmak istemezsiniz.

let pose = xrFrame.getDevicePose(xrFrameOfRef);
if (pose) {
    // Draw something to the screen.
}

Görüntüleme sayısı

Duruşu kontrol ettikten sonra çizim yapmaya başlayabilirsiniz. Çizim yaptığınız nesneye görünüm (XRView) adı verilir. Oturum türü bu noktada önem kazanır. Görüntülemeler, XRFrame nesnesinden bir dizi olarak alınır. Sürükleyici olmayan bir oturumdaysanız dizide bir görünüm bulunur. Sürükleyici bir oturumdaysanız dizide her göz için bir tane olmak üzere iki öğe bulunur.

for (let view of xrFrame.views) {
    // Draw something to the screen.
}

Bu, WebXR ile diğer sürükleyici sistemler arasındaki önemli bir farktır. Tek bir görünümde yineleme yapmak anlamsız görünse de bunu yaptığınızda çeşitli cihazlar için tek bir oluşturma yoluna sahip olursunuz.

Tüm oluşturma döngüsü

Tüm bunları bir araya getirdiğimde aşağıdaki kodu elde ederim. Giriş cihazları için bir yer tutucu bıraktım. Bu konuyu daha sonraki bir bölümde ele alacağım.

xrSession.requestFrameOfReference('eye-level')
.then(xrFrameOfRef => {
    xrSession.requestAnimationFrame(onFrame(time, xrFrame) {
    // The time argument is for future use and not implemented at this time.
    let pose = xrFrame.getDevicePose(xrFrameOfRef);
    if (pose) {
        for (let view of xrFrame.views) {
        // Draw something to the screen.
        }
    }
    // Input device code will go here.
    frame.session.requestAnimationFrame(onFrame);
    }
}

XR oturumunu sonlandırma

XR oturumu, XRSession.end() çağrısı aracılığıyla kendi kodunuz tarafından sonlandırılma dahil olmak üzere çeşitli nedenlerle sonlandırılabilir. Diğer nedenler arasında başlığın bağlantısının kesilmesi veya başka bir uygulamanın başlığın kontrolünü ele geçirmesi yer alır. Bu nedenle, düzgün çalışan bir uygulama, bitiş etkinliğini izlemeli ve bu etkinlik gerçekleştiğinde oturum ve oluşturucu nesnelerini silmelidir. Sona eren bir XR oturumu devam ettirilemez.

xrDevice.requestSession(sessionOptions)
.then(xrSession => {
    // Create a WebGL layer and initialize the render loop.
    xrSession.addEventListener('end', onSessionEnd);
});

// Restore the page to normal after immersive access has been released.
function onSessionEnd() {
    xrSession = null;

    // Ending the session stops executing callbacks passed to the XRSession's
    // requestAnimationFrame(). To continue rendering, use the window's
    // requestAnimationFrame() function.
    window.requestAnimationFrame(onDrawFrame);
}

Etkileşim nasıl çalışır?

Uygulama yaşam döngüsünde olduğu gibi, AR veya VR'da nesnelerle nasıl etkileşim kurulacağını kısaca anlatacağım.

WebXR Device API, kullanıcı girişinde "işaretle ve tıkla" yaklaşımını benimser. Bu yaklaşımda, her giriş kaynağının bir giriş cihazının nereye işaret ettiğini gösteren tanımlı bir işaretçi ışını ve bir şey seçildiğinde bunu gösteren etkinlikleri vardır. Uygulamanız işaretçi ışınını çizer ve nereye işaret ettiğini gösterir. Kullanıcı giriş cihazını tıkladığında etkinlikler tetiklenir. Özellikle select, selectStart ve selectEnd tetiklenir. Uygulamanız neyin tıklandığını belirler ve uygun şekilde yanıt verir.

Giriş cihazı ve işaretçi ışını

Kullanıcılar için işaretçi ışını, kumanda ile işaret ettikleri nesne arasında görünen soluk bir çizgiden ibarettir. Ancak uygulamanızın bunu çizmesi gerekir. Yani giriş cihazının duruşunu alıp konumundan AR/VR alanındaki bir nesneye çizgi çizmek anlamına gelir. Bu süreç kabaca şu şekildedir:

let inputSources = xrSession.getInputSources();
for (let xrInputSource of inputSources) {
    let inputPose = frame.getInputPose(inputSource, xrFrameOfRef);
    if (!inputPose) {
    continue;
    }
    if (inputPose.gripMatrix) {
    // Render a virtual version of the input device
    //   at the correct position and orientation.
    }
    if (inputPose.pointerMatrix) {
    // Draw a ray from the gripMatrix to the pointerMatrix.
    }
}

Bu, Immersive Web Community Group'un Giriş İzleme örneğinin sadeleştirilmiş bir sürümüdür. Kare oluşturmada olduğu gibi, işaretçi ışınını ve cihazı çizmek size bağlıdır. Daha önce de belirtildiği gibi bu kod, oluşturma döngüsünün bir parçası olarak çalıştırılmalıdır.

Sanal alanda öğe seçme

AR/VR'da yalnızca nesneleri işaret etmek pek kullanışlı değildir. Kullanıcıların faydalı bir şey yapabilmesi için öğeleri seçebilmesi gerekir. WebXR Device API, kullanıcı etkileşimlerine yanıt vermek için üç etkinlik sağlar: select, selectStart ve selectEnd. Beklemediğim bir özellikleri var: Yalnızca bir giriş cihazının tıklandığını bildiriyorlar. Ortamda hangi öğenin tıklandığını size söylemezler. Etkinlik işleyiciler XRSession nesnesine eklenir ve kullanılabilir hale gelir gelmez eklenmelidir.

xrDevice.requestSession(sessionOptions)
.then(xrSession => {
    // Create a WebGL layer and initialize the render loop.
    xrSession.addEventListener('selectstart', onSelectStart);
    xrSession.addEventListener('selectend', onSelectEnd);
    xrSession.addEventListener('select', onSelect);
});

Bu kod, daha fazla bağlam bilgisi edinmek isterseniz inceleyebileceğiniz bir giriş seçimi örneğine dayanır.

Neyin tıklandığını anlamak için bir poz kullanırsınız. (Şaşırdınız mı? Sanmıyorum.) Bunun ayrıntıları uygulamanıza veya kullandığınız çerçeveye özel olduğundan bu makalenin kapsamı dışındadır. Cottontail'in yaklaşımı, Giriş Seçimi örneğinde gösterilmiştir.

function onSelect(ev) {
    let inputPose = ev.frame.getInputPose(ev.inputSource, xrFrameOfRef);
    if (!inputPose) {
    return;
    }
    if (inputPose.pointerMatrix) {
    // Figure out what was clicked and respond.
    }
}

Sonuç: Geleceğe bakış

Daha önce de belirttiğim gibi, artırılmış gerçekliğin Chrome 69'da (Canary, Haziran 2018'de) kullanıma sunulması bekleniyor. Yine de şu ana kadar geliştirdiğimiz özellikleri denemenizi öneririz. Daha iyi hale getirmek için geri bildirime ihtiyacımız var. WebXR İsabet Testi için ChromeStatus.com'u izleyerek ilerleme durumunu takip edin. Duruş takibini iyileştirecek WebXR Anchors'ı da takip edebilirsiniz.