Giriş
Ses, multimedya deneyimlerini bu kadar etkileyici kılan en önemli unsurlardan biridir. Daha önce sesi kapalı bir film izlemeyi denediyseniz muhtemelen bunu fark etmişsinizdir.
Oyunlar da bu kurala dahildir. Video oyunlarıyla ilgili en güzel anılarım, müzikler ve ses efektleriyle ilgili. En sevdiğim oyunları oynamamın üzerinden neredeyse yirmi yıl geçmesine rağmen Koji Kondo'nun Zelda besteleri ve Matt Uelmen'ın atmosferik Diablo müzikleri hâlâ aklımdan çıkmıyor. Aynı akılda kalıcılık, Warcraft'ın anında tanınan birim tıklama yanıtları ve Nintendo'nun klasiklerinden örnekler gibi ses efektleri için de geçerlidir.
Oyun sesleri, bazı ilginç zorluklar sunar. Tasarımcıların, inandırıcı oyun müzikleri oluşturmak için oyuncunun içinde bulunduğu, öngörülemeyen oyun durumuna uyum sağlaması gerekir. Uygulamada, oyunun bazı bölümleri bilinmeyen bir süre boyunca devam edebilir, sesler çevreyle etkileşime girebilir ve oda efektleri ile göreceli ses konumlandırma gibi karmaşık şekillerde karışabilir. Son olarak, aynı anda çok sayıda ses çalınabilir. Bu seslerin hepsinin birlikte iyi duyulması ve performans sorunlarına yol açmadan oluşturulması gerekir.
Web'de oyun sesi
Basit oyunlar için <audio> etiketini kullanmak yeterli olabilir. Ancak birçok tarayıcıda bu özellikler iyi uygulanmadığından ses hataları ve yüksek gecikme yaşanır. Tedarikçiler kendi uygulamalarını iyileştirmek için yoğun bir şekilde çalıştığından bu sorunun geçici olacağını umuyoruz. <audio> etiketinin durumuna göz atmak için areweplayingyet.org adresinde güzel bir test paketi var.
Ancak <audio> etiketinin özelliklerini daha ayrıntılı incelediğimizde, bu etiketle yapılamayacak birçok şey olduğu anlaşılıyor. Medya oynatma için tasarlandığından bu durum şaşırtıcı değil. Bu sınırlamalar arasında şunlar yer alır:
- Ses sinyaline filtre uygulanamaz.
- Ham PCM verilerine erişmenin bir yolu yoktur.
- Kaynakların ve dinleyicilerin konumu ve yönü kavramı yoktur.
- Ayrıntılı zamanlama yok.
Makalenin geri kalanında, Web Audio API ile yazılmış oyun sesleri bağlamında bu konulardan bazılarını inceleyeceğim. Bu API'ye kısa bir giriş için başlangıç eğitimine göz atın.
Arka plan müziği
Oyunlarda genellikle arka planda döngü halinde çalan bir müzik olur.
Döngünüz kısa ve tahmin edilebilir olduğunda can sıkıcı olabilir. Bir oyuncu bir alanda veya seviyede takılıp kalırsa ve arka planda sürekli aynı örnek çalarsa oyuncunun daha fazla canını sıkmamak için parçayı kademeli olarak azaltmak faydalı olabilir. Başka bir strateji de oyunun bağlamına bağlı olarak, kademeli olarak birbirine karışan çeşitli yoğunluklarda miksler oluşturmaktır.
Örneğin, oyuncunuz destansı bir boss savaşının olduğu bir bölgedeyse atmosferik, önceden haber veren ve yoğun gibi duygusal aralıklarda değişen birkaç miksiniz olabilir. Müzik sentezi yazılımları genellikle, dışa aktarma işleminde kullanılacak parça grubunu seçerek bir parçaya dayalı olarak (aynı uzunlukta) birkaç miksi dışa aktarmanıza olanak tanır. Böylece, kendi içinde tutarlı bir akış elde edebilir ve bir parçadan diğerine geçerken rahatsız edici geçişlerden kaçınabilirsiniz.
Ardından, Web Audio API'yi kullanarak XHR aracılığıyla BufferLoader sınıfı gibi bir yöntemle tüm bu örnekleri içe aktarabilirsiniz (Bu konu, Web Audio API'ye giriş makalesinde ayrıntılı olarak ele alınmıştır. Seslerin yüklenmesi zaman alır. Bu nedenle, oyunda kullanılan öğeler sayfa yüklenirken, seviyenin başında veya oyuncu oynarken kademeli olarak yüklenmelidir.
Ardından her düğüm için bir kaynak ve her kaynak için bir kazanç düğümü oluşturup grafiği bağlarsınız.
Bunu yaptıktan sonra, tüm bu kaynakları aynı anda bir döngüde oynatabilirsiniz. Hepsi aynı uzunlukta olduğundan Web Audio API, kaynakların aynı hizada kalmasını sağlar. Karakter son boss savaşına yaklaştıkça veya ondan uzaklaştıkça oyun, zincirdeki ilgili düğümlerin her biri için kazanç değerlerini aşağıdaki gibi bir kazanç miktarı algoritması kullanarak değiştirebilir:
// Assume gains is an array of AudioGainNode, normVal is the intensity
// between 0 and 1.
var value = normVal - (gains.length - 1);
// First reset gains on all nodes.
for (var i = 0; i < gains.length; i++) {
gains[i].gain.value = 0;
}
// Decide which two nodes we are currently between, and do an equal
// power crossfade between them.
var leftNode = Math.floor(value);
// Normalize the value between 0 and 1.
var x = value - leftNode;
var gain1 = Math.cos(x - 0.5*Math.PI);
var gain2 = Math.cos((1.0 - x) - 0.5*Math.PI);
// Set the two gains accordingly.
gains[leftNode].gain.value = gain1;
// Check to make sure that there's a right node.
if (leftNode < gains.length - 1) {
// If there is, adjust its gain.
gains[leftNode + 1].gain.value = gain2;
}
Yukarıdaki yaklaşımda, iki kaynak aynı anda oynatılır ve eşit güç eğrileri kullanarak bunlar arasında geçiş yaparız (giriş bölümünde açıklandığı gibi).
Eksik bağlantı: Ses etiketinden Web Audio'ya
Günümüzde birçok oyun geliştirici, canlı yayın içeriklerine uygun olduğu için arka plan müziklerinde <audio> etiketini kullanıyor. Artık <audio> etiketindeki içeriği Web Audio bağlamına taşıyabilirsiniz.
<audio> etiketi, akış içeriğiyle çalışabildiğinden bu teknik faydalı olabilir. Bu sayede, arka plan müziğinin tamamının indirilmesini beklemek yerine hemen çalabilirsiniz. Akışı Web Audio API'ye getirerek akışı değiştirebilir veya analiz edebilirsiniz. Aşağıdaki örnekte, <audio> etiketi aracılığıyla çalınan müziğe alçak geçiren filtre uygulanmaktadır:
var audioElement = document.querySelector('audio');
var mediaSourceNode = context.createMediaElementSource(audioElement);
// Create the filter
var filter = context.createBiquadFilter();
// Create the audio graph.
mediaSourceNode.connect(filter);
filter.connect(context.destination);
<audio> etiketini Web Audio API ile entegre etme hakkında daha ayrıntılı bilgi için bu kısa makaleyi inceleyin.
Ses efektleri
Oyunlar genellikle kullanıcı girişine veya oyun durumundaki değişikliklere yanıt olarak ses efektleri oynatır. Ancak arka plan müziği gibi ses efektleri de çok hızlı bir şekilde can sıkıcı hale gelebilir. Bunu önlemek için benzer ama farklı seslerden oluşan bir havuz oluşturmak genellikle faydalı olur. Bu, ayak sesi örneklerinin hafif varyasyonlarından, Warcraft serisinde birimlere tıklandığında görülen ciddi varyasyonlara kadar değişebilir.
Oyunlardaki ses efektlerinin bir diğer önemli özelliği de aynı anda birçok ses efektinin çalınabilmesidir. Birden fazla oyuncunun makineli tüfeklerle ateş ettiği bir çatışmanın ortasında olduğunuzu düşünün. Her makineli tüfek saniyede birçok kez ateş eder ve aynı anda onlarca ses efekti çalınır. Web Audio API, birden fazla kaynaktan aynı anda ve tam zamanında ses çalma konusunda gerçekten başarılıdır.
Aşağıdaki örnekte, oynatılması zaman içinde kademelendirilen birden fazla ses kaynağı oluşturularak birden fazla mermi örneğinden bir makineli tüfek mermisi oluşturulmaktadır.
var time = context.currentTime;
for (var i = 0; i < rounds; i++) {
var source = this.makeSource(this.buffers[M4A1]);
source.noteOn(time + i - interval);
}
Oyununuzdaki tüm makineli tüfekler bu şekilde ses çıkarsaydı oldukça sıkıcı olurdu. Elbette hedefe olan mesafeye ve göreceli konuma göre sesler değişecektir (bu konuya daha sonra değineceğiz) ancak bu bile yeterli olmayabilir. Neyse ki Web Audio API, yukarıdaki örneği iki şekilde kolayca ayarlamanın bir yolunu sunar:
- Mermilerin ateşlenme zamanında küçük bir değişiklik yaparak
- Gerçek dünyadaki rastgeleliği daha iyi simüle etmek için her örneğin playbackRate değerini (perdeyi de değiştirerek) değiştirir.
Bu tekniklerin gerçek hayattaki kullanımına daha yakın bir örnek için Bilardo Masası demosuna göz atın. Bu demoda, daha ilgi çekici bir top çarpışma sesi için rastgele örnekleme kullanılır ve playbackRate değiştirilir.
3D konumsal ses
Oyunlar genellikle 2D veya 3D geometrik özelliklere sahip bir dünyada geçer. Bu durumda, stereo konumlandırılmış ses, deneyimin sürükleyiciliğini büyük ölçüde artırabilir. Neyse ki Web Audio API, kullanımı oldukça kolay olan yerleşik donanım hızlandırmalı konumsal ses özellikleriyle birlikte gelir. Bu arada, aşağıdaki örneğin anlaşılır olması için stereo hoparlörlerinizin (tercihen kulaklık) olduğundan emin olmalısınız.
Yukarıdaki örnekte, tuvalin ortasında bir dinleyici (kişi simgesi) vardır ve fare, kaynağın (hoparlör simgesi) konumunu etkiler. Yukarıda, bu tür bir efekt elde etmek için AudioPannerNode'un kullanıldığı basit bir örnek verilmiştir. Yukarıdaki örneğin temel fikri, ses kaynağının konumunu aşağıdaki gibi ayarlayarak fare hareketine yanıt vermektir:
PositionSample.prototype.changePosition = function(position) {
// Position coordinates are in normalized canvas coordinates
// with -0.5 < x, y < 0.5
if (position) {
if (!this.isPlaying) {
this.play();
}
var mul = 2;
var x = position.x / this.size.width;
var y = -position.y / this.size.height;
this.panner.setPosition(x - mul, y - mul, -0.5);
} else {
this.stop();
}
};
Web Audio'nun uzamsallaştırma işlemi hakkında bilinmesi gerekenler:
- Dinleyici varsayılan olarak başlangıç noktasındadır (0, 0, 0).
- Web Audio konumsal API'leri birimsiz olduğundan, demonun daha iyi ses vermesi için bir çarpan ekledim.
- Web Audio, y ekseninin yukarı baktığı kartezyen koordinatları kullanır (çoğu bilgisayar grafik sisteminin tersi). Bu nedenle, yukarıdaki snippet'te y eksenini değiştiriyorum.
Gelişmiş: Ses konileri
Konumsal model, büyük ölçüde OpenAL'ı temel alan, çok güçlü ve oldukça gelişmiş bir modeldir. Daha fazla bilgi için yukarıda bağlantısı verilen spesifikasyonun 3. ve 4. bölümlerine bakın.
Web Audio API bağlamına eklenmiş tek bir AudioListener vardır. Bu AudioListener, konum ve yönlendirme aracılığıyla uzayda yapılandırılabilir. Her kaynak, giriş sesini uzamsallaştıran bir AudioPannerNode'dan geçirilebilir. Panner düğümünün konumu ve yönü, ayrıca mesafe ve yön modeli vardır.
Mesafe modeli, kaynağa yakınlığa bağlı olarak kazanç miktarını belirtir. Yön modeli ise iç ve dış koni belirtilerek yapılandırılabilir. Bu koniler, dinleyici iç koninin içinde, iç ve dış koninin arasında veya dış koninin dışındaysa kazanç miktarını (genellikle negatif) belirler.
var panner = context.createPanner();
panner.coneOuterGain = 0.5;
panner.coneOuterAngle = 180;
panner.coneInnerAngle = 0;
Örneğim 2D olsa da bu model üçüncü boyuta kolayca genelleştirilebilir. 3D olarak uzamsallaştırılmış ses örneği için bu konumsal örneğe bakın. Web Audio ses modeli, konuma ek olarak isteğe bağlı olarak Doppler kaymaları için hızı da içerir. Bu örnekte Doppler etkisi daha ayrıntılı bir şekilde gösterilmektedir.
Bu konu hakkında daha fazla bilgi için [konumsal ses ve WebGL'yi karıştırma][webgl] ile ilgili bu ayrıntılı eğitimi okuyun.
Oda efektleri ve filtreleri
Aslında sesin nasıl algılandığı, büyük ölçüde sesin duyulduğu odaya bağlıdır. Aynı gıcırdayan kapı, bodrum katında büyük bir salona kıyasla çok farklı duyulur. Her ortam için ayrı bir örnek kümesi oluşturmak çok pahalı olacağından ve daha fazla öğe ile daha fazla oyun verisi gerektireceğinden, yüksek prodüksiyon değerine sahip oyunlar bu efektleri taklit etmek isteyecektir.
Kabaca ifade etmek gerekirse, ham ses ile gerçekte duyulan ses arasındaki farkı tanımlayan ses terimi impuls yanıtıdır. Bu dürtü yanıtları titizlikle kaydedilebilir. Hatta kolaylık sağlamak için önceden kaydedilmiş bu dürtü yanıtı dosyalarının (ses olarak depolanır) çoğunu barındıran siteler vardır.
Belirli bir ortamdan dürtü yanıtlarının nasıl oluşturulabileceği hakkında daha fazla bilgi için Web Audio API spesifikasyonunun Convolution bölümündeki "Recording Setup" (Kayıt Kurulumu) bölümünü okuyun.
Amacımız açısından daha da önemlisi, Web Audio API, ConvolverNode'u kullanarak bu dürtü yanıtlarını seslerimize uygulamanın kolay bir yolunu sunar.
// Make a source node for the sample.
var source = context.createBufferSource();
source.buffer = this.buffer;
// Make a convolver node for the impulse response.
var convolver = context.createConvolver();
convolver.buffer = this.impulseResponseBuffer;
// Connect the graph.
source.connect(convolver);
convolver.connect(context.destination);
Ayrıca Web Audio API spesifikasyon sayfasındaki oda efektleri demosuna ve harika bir caz standardının kuru (ham) ve ıslak (konvolüsyon yoluyla işlenmiş) miksajını kontrol etmenizi sağlayan bu örneğe göz atın.
Son geri sayım
Bir oyun geliştirdiniz, konumsal sesinizi yapılandırdınız ve artık grafiğinizde aynı anda oynatılan çok sayıda AudioNode var. Harika, ancak dikkate almanız gereken bir şey daha var:
Birden fazla ses normalleştirme olmadan üst üste bindiğinden, hoparlörünüzün kapasite eşiğini aşabilirsiniz. Tuval sınırlarını aşan resimler gibi, dalga formu maksimum eşiğini aşarsa sesler de kırpılabilir ve belirgin bir bozulma meydana gelebilir. Dalga formu şuna benzer:
Kırpma özelliğinin kullanımına dair gerçek bir örnek: Dalga formu kötü görünüyor:
Yukarıdaki gibi sert bozulmaları veya tam tersine, dinleyicilerinizin ses seviyesini artırmasını gerektiren aşırı kısık miksleri dinlemek önemlidir. Bu durumdaysanız sorunu mutlaka düzeltmeniz gerekir.
Kırpma algılama
Teknik açıdan bakıldığında, herhangi bir kanaldaki sinyal değeri geçerli aralığı (yani -1 ile 1 arasını) aştığında kırpma gerçekleşir. Bu durum tespit edildiğinde, bunun gerçekleştiğine dair görsel geri bildirim vermek faydalı olur. Bunu güvenilir bir şekilde yapmak için grafiğinize bir JavaScriptAudioNode yerleştirin. Ses grafiği aşağıdaki gibi ayarlanır:
// Assume entire sound output is being piped through the mix node.
var meter = context.createJavaScriptNode(2048, 1, 1);
meter.onaudioprocess = processAudio;
mix.connect(meter);
meter.connect(context.destination);
Ayrıca, aşağıdaki processAudio işleyicide kırpma algılanabilir:
function processAudio(e) {
var buffer = e.inputBuffer.getChannelData(0);
var isClipping = false;
// Iterate through buffer to check if any of the |values| exceeds 1.
for (var i = 0; i < buffer.length; i++) {
var absValue = Math.abs(buffer[i]);
if (absValue >= 1) {
isClipping = true;
break;
}
}
}
Genel olarak, performans nedenleriyle JavaScriptAudioNode öğesini aşırı kullanmamaya dikkat edin. Bu durumda, ölçümün alternatif bir uygulaması, requestAnimationFrame tarafından belirlenen oluşturma süresinde getByteFrequencyData için ses grafiğindeki bir RealtimeAnalyserNode öğesini sorgulayabilir. Bu yaklaşım daha verimlidir ancak oluşturma işlemi saniyede en fazla 60 kez gerçekleştiği ve ses sinyali çok daha hızlı değiştiği için sinyalin büyük bir kısmını (potansiyel olarak kırpıldığı yerler dahil) kaçırır.
Kırpma algılama çok önemli olduğundan, gelecekte yerleşik bir MeterNode Web Audio API düğümü göreceğiz.
Kırpmayı önleme
Ana AudioGainNode'daki kazancı ayarlayarak miksinizi kırpmayı önleyecek bir seviyeye indirebilirsiniz. Ancak pratikte, oyununuzda çalınan sesler çok çeşitli faktörlere bağlı olabileceğinden, tüm durumlar için kırpmayı önleyen ana kazanç değerine karar vermek zor olabilir. Genel olarak, kazançları en kötü senaryoyu öngörecek şekilde ayarlamanız gerekir ancak bu, bilimden çok sanata benzer.
Biraz şeker ekleyin
Kompresörler, müzik ve oyun prodüksiyonunda sinyali yumuşatmak ve genel sinyaldeki ani yükselmeleri kontrol etmek için yaygın olarak kullanılır. Bu işlev, Web Audio dünyasında DynamicsCompressorNode aracılığıyla kullanılabilir. Bu düğüm, ses grafiğinize eklenerek daha yüksek, daha zengin ve daha dolgun bir ses elde etmenizi sağlar ve kırpma işlemine de yardımcı olur.
Spesifikasyondan doğrudan alıntı yaparsak bu düğüm,
Dinamik sıkıştırma kullanmak genellikle iyi bir fikirdir. Özellikle de daha önce bahsettiğimiz gibi, hangi seslerin ne zaman çalınacağını tam olarak bilmediğiniz oyun ortamlarında bu yöntemden yararlanabilirsiniz. DinahMoe laboratuvarlarından Plink buna harika bir örnektir. Çalınan sesler tamamen size ve diğer katılımcılara bağlıdır. Kompresör, sesin "tam olması gerektiği gibi" duyulması için titizlikle ayarlanmış parçalarla uğraştığınız nadir durumlar dışında çoğu durumda faydalıdır.
Bunu uygulamak için ses grafiğinize bir DynamicsCompressorNode eklemeniz yeterlidir. Bu düğüm genellikle hedeften önceki son düğüm olarak eklenir:
// Assume the output is all going through the mix node.
var compressor = context.createDynamicsCompressor();
mix.connect(compressor);
compressor.connect(context.destination);
Dinamik sıkıştırma hakkında daha fazla bilgi için bu Wikipedia makalesini inceleyebilirsiniz.
Özetlemek gerekirse, kırpma olup olmadığını dikkatlice dinleyin ve ana kazanç düğümü ekleyerek bunu önleyin. Ardından, dinamik kompresör düğümü kullanarak tüm miksi sıkılaştırın. Ses grafiğiniz şuna benzer:
Sonuç
Web Audio API'yi kullanarak oyun sesleri geliştirmenin en önemli yönlerini ele aldık. Bu tekniklerle doğrudan tarayıcınızda gerçekten ilgi çekici ses deneyimleri oluşturabilirsiniz. Sözlerimi bitirmeden önce tarayıcıya özel bir ipucu vereyim: Sekmeniz arka plana geçerse Page Visibility API'yi kullanarak sesi duraklatmayı unutmayın. Aksi takdirde kullanıcılarınız için can sıkıcı bir deneyim yaratabilirsiniz.
Web Audio hakkında daha fazla bilgi için daha kapsamlı bir giriş niteliğindeki başlangıç makalesine göz atın. Sorularınız varsa Web Audio SSS bölümünde yanıtlanıp yanıtlanmadığını kontrol edin. Son olarak, başka sorularınız varsa bunları Stack Overflow'da web-audio etiketini kullanarak sorabilirsiniz.
Sözlerimi bitirmeden önce, Web Audio API'nin günümüzdeki gerçek oyunlarda nasıl kullanıldığına dair birkaç harika örnek vermek istiyorum:
- Field Runners ve teknik ayrıntılar hakkında bir yazı.
- Angry Birds, kısa süre önce Web Audio API'ye geçiş yaptı. Daha fazla bilgi için bu makaleye göz atın.
- Üç boyutlu ses özelliğini mükemmel şekilde kullanan Skid Racer.