Pengantar
Audio adalah bagian besar dari hal yang membuat pengalaman multimedia begitu menarik. Jika Anda pernah mencoba menonton film tanpa suara, Anda mungkin pernah menyadarinya.
Game juga tidak terkecuali. Kenangan video game yang paling saya sukai adalah musik dan efek suaranya. Sekarang, setelah hampir dua dekade memainkan game favorit, saya masih tidak bisa melupakan komposisi Zelda karya Koji Kondo dan soundtrack Diablo yang atmosferik karya Matt Uelmen. Daya tarik yang sama juga berlaku untuk efek suara, seperti respons klik unit yang langsung dapat dikenali dari Warcraft, dan sampel dari game klasik Nintendo.
Audio game menghadirkan beberapa tantangan yang menarik. Untuk membuat musik game yang meyakinkan, desainer perlu menyesuaikan dengan status game yang berpotensi tidak dapat diprediksi yang dialami pemain. Dalam praktiknya, bagian game dapat berlangsung selama durasi yang tidak diketahui, suara dapat berinteraksi dengan lingkungan dan bercampur dengan cara yang kompleks, seperti efek ruangan dan pemosisian suara relatif. Terakhir, mungkin ada banyak suara yang diputar sekaligus, yang semuanya harus terdengar bagus bersama-sama dan dirender tanpa menyebabkan penurunan performa.
Audio game di web
Untuk game sederhana, penggunaan tag <audio> mungkin sudah cukup. Namun, banyak browser memberikan implementasi yang buruk, sehingga menghasilkan gangguan audio dan latensi tinggi. Semoga ini adalah masalah sementara, karena vendor
sedang bekerja keras untuk meningkatkan implementasi masing-masing. Untuk
melihat sekilas status tag <audio>, ada suite pengujian yang bagus
di areweplayingyet.org.
Namun, jika melihat lebih dalam spesifikasi tag <audio>, menjadi
jelas bahwa ada banyak hal yang tidak dapat dilakukan dengannya,
yang tidak mengherankan, karena tag ini dirancang untuk pemutaran media. Beberapa
batasan mencakup:
- Tidak ada kemampuan untuk menerapkan filter ke sinyal suara
- Tidak ada cara untuk mengakses data PCM mentah
- Tidak ada konsep posisi dan arah sumber dan pendengar
- Tidak ada pengaturan waktu yang mendetail.
Di bagian selanjutnya, saya akan membahas beberapa topik ini dalam konteks audio game yang ditulis dengan Web Audio API. Untuk pengantar singkat tentang API ini, lihat tutorial memulai.
Musik latar belakang
Game sering kali memiliki musik latar yang diputar berulang.
Hal ini bisa sangat mengganggu jika loop Anda pendek dan dapat diprediksi. Jika pemain terjebak di suatu area atau level, dan sampel yang sama terus diputar di latar belakang, sebaiknya pudarkan trek secara bertahap untuk mencegah frustrasi lebih lanjut. Strategi lainnya adalah memiliki campuran berbagai intensitas yang secara bertahap saling bersilangan, bergantung pada konteks game.
Misalnya, jika pemain berada di zona dengan pertempuran bos epik, Anda mungkin memiliki beberapa mix yang bervariasi dalam rentang emosional, mulai dari atmosfer, bayangan, hingga intens. Software sintesis musik sering kali memungkinkan Anda mengekspor beberapa mix (dengan durasi yang sama) berdasarkan sebuah karya dengan memilih kumpulan trek yang akan digunakan dalam ekspor. Dengan begitu, Anda memiliki konsistensi internal dan menghindari transisi yang mengganggu saat melakukan cross-fade dari satu trek ke trek lainnya.
Kemudian, menggunakan Web Audio API, Anda dapat mengimpor semua sampel ini menggunakan sesuatu seperti class BufferLoader melalui XHR (hal ini dibahas secara mendalam dalam artikel pengantar Web Audio API. Memuat suara memerlukan waktu, sehingga aset yang digunakan dalam game harus dimuat saat pemuatan halaman, di awal level, atau mungkin secara bertahap saat pemain sedang bermain.
Selanjutnya, Anda membuat sumber untuk setiap node, dan node penguatan untuk setiap sumber, lalu menghubungkan grafik.
Setelah melakukannya, Anda dapat memutar kembali semua sumber ini secara bersamaan dalam loop, dan karena semuanya memiliki panjang yang sama, Web Audio API akan menjamin bahwa sumber tersebut akan tetap selaras. Saat karakter mendekati atau menjauhi pertempuran bos terakhir, game dapat memvariasikan nilai penguatan untuk setiap node yang sesuai dalam rantai, menggunakan algoritma jumlah penguatan seperti berikut:
// Assume gains is an array of AudioGainNode, normVal is the intensity
// between 0 and 1.
var value = normVal - (gains.length - 1);
// First reset gains on all nodes.
for (var i = 0; i < gains.length; i++) {
gains[i].gain.value = 0;
}
// Decide which two nodes we are currently between, and do an equal
// power crossfade between them.
var leftNode = Math.floor(value);
// Normalize the value between 0 and 1.
var x = value - leftNode;
var gain1 = Math.cos(x - 0.5*Math.PI);
var gain2 = Math.cos((1.0 - x) - 0.5*Math.PI);
// Set the two gains accordingly.
gains[leftNode].gain.value = gain1;
// Check to make sure that there's a right node.
if (leftNode < gains.length - 1) {
// If there is, adjust its gain.
gains[leftNode + 1].gain.value = gain2;
}
Dalam pendekatan di atas, dua sumber diputar sekaligus, dan kita melakukan crossfade di antara keduanya menggunakan kurva daya yang sama (seperti yang dijelaskan dalam pengantar).
Link yang hilang: Tag audio ke Web Audio
Banyak developer game saat ini menggunakan tag <audio> untuk musik latar belakang, karena sangat cocok untuk konten streaming. Sekarang Anda dapat memasukkan
konten dari tag <audio> ke dalam konteks Web Audio.
Teknik ini dapat berguna karena tag <audio> dapat berfungsi dengan
konten streaming, yang memungkinkan Anda langsung memutar musik latar
daripada harus menunggu semuanya didownload. Dengan memasukkan streaming
ke Web Audio API, Anda dapat memanipulasi atau menganalisis streaming. Contoh
berikut menerapkan filter low pass ke musik yang diputar melalui
tag <audio>:
var audioElement = document.querySelector('audio');
var mediaSourceNode = context.createMediaElementSource(audioElement);
// Create the filter
var filter = context.createBiquadFilter();
// Create the audio graph.
mediaSourceNode.connect(filter);
filter.connect(context.destination);
Untuk pembahasan yang lebih lengkap tentang mengintegrasikan tag <audio> dengan
Web Audio API, lihat artikel singkat ini.
Efek suara
Game sering kali memutar efek suara sebagai respons terhadap input pengguna atau perubahan dalam status game. Namun, seperti musik latar, efek suara bisa cepat mengganggu. Untuk menghindari hal ini, sebaiknya miliki kumpulan suara yang serupa, tetapi berbeda untuk diputar. Hal ini dapat bervariasi, mulai dari variasi ringan sampel langkah kaki, hingga variasi drastis, seperti yang terlihat dalam seri Warcraft sebagai respons terhadap klik pada unit.
Fitur utama lain dari efek suara dalam game adalah dapat ada banyak efek suara secara bersamaan. Bayangkan Anda berada di tengah baku tembak dengan beberapa aktor yang menembakkan senapan mesin. Setiap senapan mesin menembak berkali-kali per detik, sehingga puluhan efek suara diputar secara bersamaan. Memutar kembali suara dari beberapa sumber yang diatur waktunya secara tepat secara bersamaan adalah salah satu keunggulan Web Audio API.
Contoh berikut membuat putaran senapan mesin dari beberapa sampel peluru individual dengan membuat beberapa sumber suara yang pemutarannya diatur waktunya.
var time = context.currentTime;
for (var i = 0; i < rounds; i++) {
var source = this.makeSource(this.buffers[M4A1]);
source.noteOn(time + i - interval);
}
Jika semua senapan mesin di game Anda terdengar persis seperti ini, itu akan sangat membosankan. Tentu saja, suaranya akan bervariasi berdasarkan jarak dari target dan posisi relatif (selengkapnya nanti), tetapi bahkan itu mungkin tidak cukup. Untungnya, Web Audio API menyediakan cara untuk menyesuaikan contoh di atas dengan mudah dalam dua cara:
- Dengan sedikit pergeseran waktu antara penembakan peluru
- Dengan mengubah playbackRate setiap sampel (juga mengubah pitch) untuk mensimulasikan keacakan dunia nyata dengan lebih baik.
Untuk contoh yang lebih nyata dari teknik ini, lihat demo Meja Biliar, yang menggunakan pengambilan sampel acak dan memvariasikan playbackRate untuk suara tabrakan bola yang lebih menarik.
Suara posisi 3D
Game sering kali berlatar di dunia dengan beberapa properti geometris, baik dalam 2D maupun 3D. Jika demikian, audio yang diposisikan stereo dapat sangat meningkatkan pengalaman yang imersif. Untungnya, Web Audio API dilengkapi dengan fitur audio posisi yang dipercepat hardware bawaan yang cukup mudah digunakan. Ngomong-ngomong, Anda harus memastikan bahwa Anda memiliki speaker stereo (sebaiknya headphone) agar contoh berikut masuk akal.
Pada contoh di atas, ada pemroses (ikon orang) di tengah kanvas, dan mouse memengaruhi posisi sumber (ikon speaker). Di atas adalah contoh sederhana penggunaan AudioPannerNode untuk mencapai efek semacam ini. Ide dasar dari contoh di atas adalah merespons gerakan mouse dengan menetapkan posisi sumber audio, sebagai berikut:
PositionSample.prototype.changePosition = function(position) {
// Position coordinates are in normalized canvas coordinates
// with -0.5 < x, y < 0.5
if (position) {
if (!this.isPlaying) {
this.play();
}
var mul = 2;
var x = position.x / this.size.width;
var y = -position.y / this.size.height;
this.panner.setPosition(x - mul, y - mul, -0.5);
} else {
this.stop();
}
};
Hal-hal yang perlu diketahui tentang perlakuan Web Audio terhadap spasialisasi:
- Pemroses berada di origin (0, 0, 0) secara default.
- API posisi Web Audio tidak memiliki unit, jadi saya memperkenalkan pengali untuk membuat suara demo lebih baik.
- Web Audio menggunakan koordinat kartesius y-is-up (kebalikan dari sebagian besar sistem grafis komputer). Itulah sebabnya kami menukar sumbu y dalam cuplikan di atas
Lanjutan: Kerucut suara
Model posisi sangat canggih dan cukup mutakhir, sebagian besar didasarkan pada OpenAL. Untuk mengetahui detail selengkapnya, lihat bagian 3 dan 4 dari spesifikasi yang ditautkan di atas.
Ada satu AudioListener yang terpasang ke konteks Web Audio API yang dapat dikonfigurasi dalam ruang melalui posisi dan orientasi. Setiap sumber dapat diteruskan melalui AudioPannerNode, yang menjadikan audio input spasial. Node panner memiliki posisi dan orientasi, serta model jarak dan arah.
Model jarak menentukan jumlah penguatan bergantung pada kedekatan dengan sumber, sedangkan model arah dapat dikonfigurasi dengan menentukan kerucut dalam dan luar, yang menentukan jumlah penguatan (biasanya negatif) jika pemroses berada dalam kerucut dalam, di antara kerucut dalam dan luar, atau di luar kerucut luar.
var panner = context.createPanner();
panner.coneOuterGain = 0.5;
panner.coneOuterAngle = 180;
panner.coneInnerAngle = 0;
Meskipun contoh saya dalam 2D, model ini dapat digeneralisasi dengan mudah ke dimensi ketiga. Untuk contoh suara yang di-spasialisasi dalam 3D, lihat contoh posisi ini. Selain posisi, model suara Web Audio juga dapat menyertakan kecepatan untuk pergeseran doppler. Contoh ini menunjukkan efek doppler secara lebih mendetail.
Untuk mengetahui informasi selengkapnya tentang topik ini, baca tutorial mendetail ini tentang [menggabungkan audio posisi dan WebGL][webgl].
Efek dan filter ruang
Pada kenyataannya, cara suara dipersepsikan sangat bergantung pada ruangan tempat suara tersebut didengar. Pintu berderit yang sama akan terdengar sangat berbeda di ruang bawah tanah, dibandingkan dengan aula terbuka yang besar. Game dengan nilai produksi tinggi akan ingin meniru efek ini, karena membuat kumpulan sampel terpisah untuk setiap lingkungan sangat mahal, dan akan menghasilkan lebih banyak aset, serta jumlah data game yang lebih besar.
Secara umum, istilah audio untuk perbedaan antara suara mentah dan suara yang terdengar dalam kenyataan adalah respons impuls. Respons impuls ini dapat direkam dengan susah payah, dan sebenarnya ada situs yang menghosting banyak file respons impuls yang telah direkam sebelumnya (disimpan sebagai audio) untuk memudahkan Anda.
Untuk mengetahui informasi selengkapnya tentang cara membuat respons impuls dari lingkungan tertentu, baca bagian "Recording Setup" di bagian Convolution dalam spesifikasi Web Audio API.
Yang lebih penting untuk tujuan kita, Web Audio API menyediakan cara mudah untuk menerapkan respons impuls ini ke suara kita menggunakan ConvolverNode.
// Make a source node for the sample.
var source = context.createBufferSource();
source.buffer = this.buffer;
// Make a convolver node for the impulse response.
var convolver = context.createConvolver();
convolver.buffer = this.impulseResponseBuffer;
// Connect the graph.
source.connect(convolver);
convolver.connect(context.destination);
Lihat juga demo efek ruang ini di halaman spesifikasi Web Audio API, serta contoh ini yang memberi Anda kontrol atas pencampuran kering (mentah) dan basah (diproses melalui convolver) dari standar Jazz yang bagus.
Hitung mundur terakhir
Jadi, Anda telah membuat game, mengonfigurasi audio posisional, dan sekarang Anda memiliki banyak AudioNode dalam grafik, semuanya diputar secara bersamaan. Bagus, tetapi masih ada satu hal lagi yang perlu dipertimbangkan:
Karena beberapa suara hanya ditumpuk satu sama lain tanpa normalisasi, Anda mungkin berada dalam situasi di mana Anda melebihi batas kemampuan speaker. Seperti gambar yang melebihi batas kanvasnya, suara juga dapat terpotong jika bentuk gelombang melebihi batas maksimumnya, sehingga menghasilkan distorsi yang berbeda. Bentuk gelombangnya terlihat seperti ini:
Berikut adalah contoh nyata kliping yang sedang digunakan. Bentuk gelombang terlihat buruk:
Penting untuk mendengarkan distorsi yang mengganggu seperti di atas, atau sebaliknya, mix yang terlalu pelan yang memaksa pendengar menaikkan volume. Jika Anda berada dalam situasi ini, Anda harus memperbaikinya.
Mendeteksi kliping
Dari perspektif teknis, pemotongan terjadi saat nilai sinyal di saluran mana pun melebihi rentang yang valid, yaitu antara -1 dan 1. Setelah hal ini terdeteksi, sebaiknya berikan masukan visual bahwa hal ini sedang terjadi. Untuk melakukannya dengan andal, masukkan JavaScriptAudioNode ke dalam grafik Anda. Grafik audio akan disiapkan sebagai berikut:
// Assume entire sound output is being piped through the mix node.
var meter = context.createJavaScriptNode(2048, 1, 1);
meter.onaudioprocess = processAudio;
mix.connect(meter);
meter.connect(context.destination);
Dan pemotongan dapat dideteksi di pengendali processAudio berikut:
function processAudio(e) {
var buffer = e.inputBuffer.getChannelData(0);
var isClipping = false;
// Iterate through buffer to check if any of the |values| exceeds 1.
for (var i = 0; i < buffer.length; i++) {
var absValue = Math.abs(buffer[i]);
if (absValue >= 1) {
isClipping = true;
break;
}
}
}
Secara umum, berhati-hatilah agar tidak menggunakan JavaScriptAudioNode secara berlebihan karena
alasan performa. Dalam hal ini, implementasi alternatif
pengukuran dapat melakukan polling RealtimeAnalyserNode dalam grafik audio untuk
getByteFrequencyData, pada waktu render, seperti yang ditentukan oleh
requestAnimationFrame. Pendekatan ini lebih efisien, tetapi melewatkan
sebagian besar sinyal (termasuk tempat yang berpotensi terpotong), karena
rendering terjadi paling banyak 60 kali per detik, sedangkan sinyal audio
berubah jauh lebih cepat.
Karena deteksi klip sangat penting, kemungkinan kita akan melihat
node Web Audio API MeterNode bawaan pada masa mendatang.
Mencegah pemangkasan
Dengan menyesuaikan penguatan pada AudioGainNode master, Anda dapat menundukkan mix ke tingkat yang mencegah clipping. Namun, dalam praktiknya, karena suara yang diputar dalam game Anda mungkin bergantung pada berbagai faktor, mungkin sulit untuk menentukan nilai penguatan master yang mencegah kliping untuk semua status. Secara umum, Anda harus menyesuaikan penguatan untuk mengantisipasi kasus terburuk, tetapi ini lebih merupakan seni daripada sains.
Tambahkan sedikit gula
Kompresor umum digunakan dalam produksi musik dan game untuk memperhalus sinyal dan mengontrol lonjakan pada sinyal secara keseluruhan. Fungsi ini tersedia di dunia Web Audio melalui DynamicsCompressorNode, yang dapat disisipkan dalam grafik audio Anda untuk memberikan suara yang lebih keras, lebih kaya, dan lebih penuh, serta membantu mengatasi clipping.
Mengutip langsung spesifikasinya, node ini
Menggunakan kompresi dinamika umumnya merupakan ide yang bagus, terutama dalam setelan game, yang, seperti yang telah dibahas sebelumnya, Anda tidak tahu persis suara apa yang akan diputar dan kapan. Plink dari DinahMoe labs adalah contoh yang bagus untuk hal ini, karena suara yang diputar sepenuhnya bergantung pada Anda dan peserta lain. Kompresor berguna dalam sebagian besar kasus, kecuali beberapa kasus langka, saat Anda menangani trek yang telah di-master dengan susah payah dan telah disesuaikan agar terdengar "pas".
Untuk menerapkannya, Anda cukup menyertakan DynamicsCompressorNode dalam grafik audio, umumnya sebagai node terakhir sebelum tujuan.:
// Assume the output is all going through the mix node.
var compressor = context.createDynamicsCompressor();
mix.connect(compressor);
compressor.connect(context.destination);
Untuk mengetahui detail selengkapnya tentang kompresi dinamika, artikel Wikipedia ini sangat informatif.
Singkatnya, dengarkan dengan cermat apakah ada kliping dan cegah dengan menyisipkan node penguatan master. Kemudian, kencangkan seluruh campuran menggunakan node kompresor dinamika. Grafik audio Anda mungkin terlihat seperti ini:
Kesimpulan
Hal tersebut mencakup aspek yang menurut saya paling penting dalam pengembangan audio game menggunakan Web Audio API. Dengan teknik ini, Anda dapat membangun pengalaman audio yang benar-benar menarik langsung di browser. Sebelum saya mengakhiri, berikut tips khusus browser: pastikan untuk menjeda suara jika tab Anda beralih ke latar belakang menggunakan page visibility API, jika tidak, Anda berpotensi menciptakan pengalaman yang menjengkelkan bagi pengguna.
Untuk informasi tambahan tentang Web Audio, lihat artikel memulai yang lebih pengantar, dan jika Anda memiliki pertanyaan, lihat apakah pertanyaan tersebut sudah dijawab di FAQ web audio. Terakhir, jika Anda memiliki pertanyaan lain, ajukan di Stack Overflow menggunakan tag web-audio.
Sebelum saya mengakhiri, izinkan saya memberikan beberapa penggunaan Web Audio API yang luar biasa dalam game sungguhan saat ini:
- Field Runners, dan laporan tentang beberapa detail teknis.
- Angry Birds, baru-baru ini beralih ke Web Audio API. Lihat laporan ini untuk mengetahui informasi selengkapnya.
- Skid Racer, yang memanfaatkan audio spasial dengan sangat baik.