Développer l'audio d'un jeu avec l'API Web Audio

Introduction

L'audio est un élément essentiel des expériences multimédias captivantes. Si vous avez déjà essayé de regarder un film sans le son, vous l'avez probablement remarqué.

Les jeux ne font pas exception. Mes meilleurs souvenirs de jeux vidéo sont liés à la musique et aux effets sonores. Aujourd'hui, près de 20 ans après avoir joué à mes jeux préférés, je n'arrive toujours pas à me sortir de la tête les compositions de Koji Kondo pour Zelda et la bande-son atmosphérique de Matt Uelmen pour Diablo. Il en va de même pour les effets sonores, comme les clics d'unité instantanément reconnaissables de Warcraft et les échantillons des classiques de Nintendo.

L'audio des jeux présente des défis intéressants. Pour créer une musique de jeu convaincante, les concepteurs doivent s'adapter à l'état potentiellement imprévisible du jeu dans lequel se trouve un joueur. En pratique, certaines parties du jeu peuvent durer un temps indéterminé, les sons peuvent interagir avec l'environnement et se mélanger de manière complexe, comme les effets de pièce et le positionnement relatif du son. Enfin, un grand nombre de sons peuvent être lus en même temps. Ils doivent tous être de bonne qualité et s'afficher sans pénaliser les performances.

Audio des jeux sur le Web

Pour les jeux simples, l'utilisation de la balise <audio> peut suffire. Cependant, de nombreux navigateurs fournissent des implémentations médiocres, ce qui entraîne des problèmes audio et une latence élevée. Il s'agit d'un problème temporaire, car les fournisseurs s'efforcent d'améliorer leurs implémentations respectives. Pour avoir un aperçu de l'état de la balise <audio>, vous pouvez consulter une suite de tests intéressante sur areweplayingyet.org.

Toutefois, en examinant de plus près la spécification de la balise <audio>, il devient évident que de nombreuses choses ne peuvent tout simplement pas être effectuées avec elle, ce qui n'est pas surprenant, car elle a été conçue pour la lecture de contenus multimédias. Voici quelques limites :

  • Impossible d'appliquer des filtres au signal sonore
  • Impossible d'accéder aux données PCM brutes
  • Aucune notion de position et de direction des sources et des auditeurs
  • Pas de timing précis.

Dans la suite de cet article, je vais aborder certains de ces sujets dans le contexte de l'audio de jeu écrit avec l'API Web Audio. Pour une brève présentation de cette API, consultez le tutoriel de démarrage.

Musique de fond

Les jeux comportent souvent une musique de fond diffusée en boucle.

Cela peut devenir très agaçant si votre boucle est courte et prévisible. Si un joueur est bloqué dans une zone ou un niveau, et que le même échantillon est diffusé en continu en arrière-plan, il peut être utile de réduire progressivement le volume de la piste pour éviter d'accentuer sa frustration. Une autre stratégie consiste à utiliser des mixages d'intensité variable qui s'enchaînent progressivement, en fonction du contexte du jeu.

Par exemple, si votre joueur se trouve dans une zone où se déroule un combat épique contre un boss, vous pouvez avoir plusieurs mixages dont l'intensité émotionnelle varie, de l'ambiance à l'anticipation, en passant par l'intensité. Les logiciels de synthèse musicale vous permettent souvent d'exporter plusieurs mixages (de même longueur) basés sur un morceau en choisissant l'ensemble de pistes à utiliser dans l'exportation. De cette façon, vous bénéficiez d'une certaine cohérence interne et évitez les transitions brusques lorsque vous passez d'une piste à une autre.

GarageBand

Ensuite, à l'aide de l'API Web Audio, vous pouvez importer tous ces exemples à l'aide d'un élément tel que la classe BufferLoader via XHR (ce sujet est abordé en détail dans l'article de présentation de l'API Web Audio). Le chargement des sons prend du temps. Les assets utilisés dans le jeu doivent donc être chargés au chargement de la page, au début du niveau ou de manière incrémentielle pendant que le joueur joue.

Ensuite, vous créez une source pour chaque nœud et un nœud de gain pour chaque source, puis vous connectez le graphique.

Ensuite, vous pouvez lire toutes ces sources simultanément en boucle. Comme elles ont toutes la même longueur, l'API Web Audio garantit qu'elles resteront alignées. À mesure que le personnage se rapproche ou s'éloigne du combat contre le boss final, le jeu peut faire varier les valeurs de gain pour chacun des nœuds respectifs de la chaîne, à l'aide d'un algorithme de gain comme celui-ci :

// Assume gains is an array of AudioGainNode, normVal is the intensity
// between 0 and 1.
var value = normVal - (gains.length - 1);
// First reset gains on all nodes.
for (var i = 0; i < gains.length; i++) {
    gains[i].gain.value = 0;
}
// Decide which two nodes we are currently between, and do an equal
// power crossfade between them.
var leftNode = Math.floor(value);
// Normalize the value between 0 and 1.
var x = value - leftNode;
var gain1 = Math.cos(x - 0.5*Math.PI);
var gain2 = Math.cos((1.0 - x) - 0.5*Math.PI);
// Set the two gains accordingly.
gains[leftNode].gain.value = gain1;
// Check to make sure that there's a right node.
if (leftNode < gains.length - 1) {
    // If there is, adjust its gain.
    gains[leftNode + 1].gain.value = gain2;
}

Dans l'approche ci-dessus, deux sources sont lues en même temps, et nous effectuons un fondu enchaîné entre elles à l'aide de courbes de puissance égales (comme décrit dans l'introduction).

De nombreux développeurs de jeux utilisent aujourd'hui la balise <audio> pour leur musique de fond, car elle est bien adaptée au contenu en streaming. Vous pouvez désormais importer du contenu de la balise <audio> dans un contexte Web Audio.

Cette technique peut être utile, car la balise <audio> peut fonctionner avec du contenu en streaming, ce qui vous permet de lire immédiatement la musique de fond au lieu d'attendre qu'elle soit entièrement téléchargée. En intégrant le flux à l'API Web Audio, vous pouvez le manipuler ou l'analyser. L'exemple suivant applique un filtre passe-bas à la musique lue via la balise <audio> :

var audioElement = document.querySelector('audio');
var mediaSourceNode = context.createMediaElementSource(audioElement);
// Create the filter
var filter = context.createBiquadFilter();
// Create the audio graph.
mediaSourceNode.connect(filter);
filter.connect(context.destination);

Pour en savoir plus sur l'intégration de la balise <audio> à l'API Web Audio, consultez cet article.

Effets sonores

Les jeux diffusent souvent des effets sonores en réponse aux entrées de l'utilisateur ou aux changements d'état du jeu. Cependant, comme la musique de fond, les effets sonores peuvent devenir très vite agaçants. Pour éviter cela, il est souvent utile de disposer d'un pool de sons similaires, mais différents, à diffuser. Cela peut aller de légères variations d'échantillons de bruits de pas à des variations drastiques, comme dans la série Warcraft en réponse à un clic sur des unités.

Une autre caractéristique clé des effets sonores dans les jeux est qu'il peut y en avoir plusieurs simultanément. Imaginez que vous êtes au milieu d'une fusillade avec plusieurs personnes tirant à la mitrailleuse. Chaque mitrailleuse tire plusieurs fois par seconde, ce qui entraîne la lecture simultanée de dizaines d'effets sonores. La lecture simultanée de sons provenant de plusieurs sources synchronisées avec précision est l'un des points forts de l'API Web Audio.

L'exemple suivant crée une rafale de mitrailleuse à partir de plusieurs échantillons de balles individuelles en créant plusieurs sources sonores dont la lecture est décalée dans le temps.

var time = context.currentTime;
for (var i = 0; i < rounds; i++) {
    var source = this.makeSource(this.buffers[M4A1]);
    source.noteOn(time + i - interval);
}

Si toutes les mitrailleuses de votre jeu émettaient exactement ce son, ce serait assez ennuyeux. Bien sûr, le son varie en fonction de la distance par rapport à la cible et de la position relative (nous y reviendrons plus tard), mais cela peut ne pas suffire. Heureusement, l'API Web Audio permet de modifier facilement l'exemple ci-dessus de deux manières :

  1. Avec un léger décalage dans le temps entre les tirs de balles
  2. En modifiant la propriété playbackRate de chaque échantillon (ce qui modifie également la hauteur) pour mieux simuler le caractère aléatoire du monde réel.

Pour un exemple plus concret de ces techniques en action, consultez la démo de table de billard, qui utilise un échantillonnage aléatoire et fait varier playbackRate pour un son de collision de balle plus intéressant.

Son positionnel 3D

Les jeux se déroulent souvent dans un monde doté de certaines propriétés géométriques, en 2D ou en 3D. Dans ce cas, l'audio stéréo peut considérablement améliorer l'immersion. Heureusement, l'API Web Audio est dotée de fonctionnalités audio positionnelles intégrées avec accélération matérielle, qui sont assez simples à utiliser. À ce propos, assurez-vous de disposer d'enceintes stéréo (de préférence un casque) pour que l'exemple suivant soit pertinent.

Dans l'exemple ci-dessus, un auditeur (icône représentant une personne) se trouve au milieu du canevas, et la souris affecte la position de la source (icône représentant un haut-parleur). L'exemple ci-dessus montre comment utiliser AudioPannerNode pour obtenir ce type d'effet. L'idée de base de l'exemple ci-dessus est de répondre au mouvement de la souris en définissant la position de la source audio, comme suit :

PositionSample.prototype.changePosition = function(position) {
    // Position coordinates are in normalized canvas coordinates
    // with -0.5 < x, y < 0.5
    if (position) {
    if (!this.isPlaying) {
        this.play();
    }
    var mul = 2;
    var x = position.x / this.size.width;
    var y = -position.y / this.size.height;
    this.panner.setPosition(x - mul, y - mul, -0.5);
    } else {
    this.stop();
    }
};

Voici quelques points à retenir concernant la gestion de la spatialisation par Web Audio :

  • Par défaut, l'auditeur se trouve à l'origine (0, 0, 0).
  • Les API de positionnement Web Audio n'ont pas d'unité. J'ai donc introduit un multiplicateur pour améliorer le son de la démo.
  • Web Audio utilise les coordonnées cartésiennes y-is-up (l'inverse de la plupart des systèmes graphiques informatiques). C'est pourquoi j'échange l'axe des ordonnées dans l'extrait ci-dessus.

Avancé : Cônes sonores

Le modèle positionnel est très puissant et assez avancé, largement basé sur OpenAL. Pour en savoir plus, consultez les sections 3 et 4 de la spécification indiquée ci-dessus.

Modèle de position

Un seul AudioListener est associé au contexte de l'API Web Audio. Il peut être configuré dans l'espace via la position et l'orientation. Chaque source peut être transmise via un AudioPannerNode, qui spatialise l'audio d'entrée. Le nœud de panoramique possède une position et une orientation, ainsi qu'un modèle de distance et de direction.

Le modèle de distance spécifie le niveau de gain en fonction de la proximité de la source, tandis que le modèle directionnel peut être configuré en spécifiant un cône intérieur et un cône extérieur, qui déterminent le niveau de gain (généralement négatif) si l'auditeur se trouve dans le cône intérieur, entre le cône intérieur et le cône extérieur, ou en dehors du cône extérieur.

var panner = context.createPanner();
panner.coneOuterGain = 0.5;
panner.coneOuterAngle = 180;
panner.coneInnerAngle = 0;

Bien que mon exemple soit en 2D, ce modèle se généralise facilement à la troisième dimension. Pour obtenir un exemple de son spatialisé en 3D, consultez cet exemple de positionnement. En plus de la position, le modèle sonore Web Audio inclut également la vitesse pour les décalages Doppler. Cet exemple montre l'effet Doppler plus en détail.

Pour en savoir plus sur ce sujet, lisez ce tutoriel détaillé sur le [mélange de l'audio positionnel et de WebGL][webgl].

Effets et filtres de salle

En réalité, la façon dont le son est perçu dépend grandement de la pièce dans laquelle il est diffusé. Le même grincement de porte sera très différent dans un sous-sol et dans un grand hall ouvert. Les jeux à forte valeur de production voudront imiter ces effets, car la création d'un ensemble d'échantillons distinct pour chaque environnement est d'un coût prohibitif et entraînerait encore plus d'éléments et une plus grande quantité de données de jeu.

En termes simples, la différence entre le son brut et le son réel est appelée réponse impulsionnelle. Ces réponses impulsionnelles peuvent être enregistrées avec soin. En fait, il existe des sites qui hébergent un grand nombre de ces fichiers de réponse impulsionnelle préenregistrés (stockés sous forme audio) pour votre commodité.

Pour en savoir plus sur la création de réponses impulsionnelles à partir d'un environnement donné, consultez la section "Recording Setup" (Configuration de l'enregistrement) de la partie Convolution de la spécification de l'API Web Audio.

Plus important encore, l'API Web Audio permet d'appliquer facilement ces réponses impulsionnelles à nos sons à l'aide de ConvolverNode.

// Make a source node for the sample.
var source = context.createBufferSource();
source.buffer = this.buffer;
// Make a convolver node for the impulse response.
var convolver = context.createConvolver();
convolver.buffer = this.impulseResponseBuffer;
// Connect the graph.
source.connect(convolver);
convolver.connect(context.destination);

Consultez également cette démonstration des effets de pièce sur la page de spécification de l'API Web Audio, ainsi que cet exemple qui vous permet de contrôler le mixage sec (brut) et humide (traité via un convolver) d'un grand standard de jazz.

Le compte à rebours final

Vous avez donc créé un jeu, configuré votre audio positionnel et vous disposez maintenant d'un grand nombre d'AudioNodes dans votre graphique, tous lus simultanément. C'est bien, mais il reste un point à prendre en compte :

Étant donné que plusieurs sons s'empilent les uns sur les autres sans normalisation, vous pouvez vous retrouver dans une situation où vous dépassez le seuil de capacité de votre haut-parleur. Tout comme les images qui dépassent les limites de leur canevas, les sons peuvent également être écrêtés si la forme d'onde dépasse son seuil maximal, ce qui produit une distorsion distincte. La forme d'onde ressemble à ceci :

Découpage

Voici un exemple concret de découpage. La forme d'onde n'est pas correcte :

Découpage

Il est important d'écouter les distorsions dures comme celle ci-dessus ou, à l'inverse, les mixages trop atténués qui obligent vos auditeurs à augmenter le volume. Si vous êtes dans cette situation, vous devez absolument résoudre le problème.

Détecter l'écrêtage

D'un point de vue technique, l'écrêtage se produit lorsque la valeur du signal dans un canal dépasse la plage valide, à savoir entre -1 et 1. Une fois cette situation détectée, il est utile de fournir un retour visuel pour l'indiquer. Pour ce faire de manière fiable, placez un JavaScriptAudioNode dans votre graphique. Le graphique audio serait configuré comme suit :

// Assume entire sound output is being piped through the mix node.
var meter = context.createJavaScriptNode(2048, 1, 1);
meter.onaudioprocess = processAudio;
mix.connect(meter);
meter.connect(context.destination);

Et le rognage peut être détecté dans le gestionnaire processAudio suivant :

function processAudio(e) {
    var buffer = e.inputBuffer.getChannelData(0);

    var isClipping = false;
    // Iterate through buffer to check if any of the |values| exceeds 1.
    for (var i = 0; i < buffer.length; i++) {
    var absValue = Math.abs(buffer[i]);
    if (absValue >= 1) {
        isClipping = true;
        break;
    }
    }
}

En général, veillez à ne pas abuser de JavaScriptAudioNode pour des raisons de performances. Dans ce cas, une autre implémentation de la mesure pourrait interroger un RealtimeAnalyserNode dans le graphique audio pour getByteFrequencyData, au moment du rendu, comme déterminé par requestAnimationFrame. Cette approche est plus efficace, mais elle ne tient pas compte de la majeure partie du signal (y compris des endroits où il est potentiellement écrêté), car l'affichage se produit au maximum 60 fois par seconde, alors que le signal audio change beaucoup plus rapidement.

La détection de l'écrêtage étant très importante, il est probable que nous verrons un nœud d'API Web Audio MeterNode intégré à l'avenir.

Empêcher l'écrêtage

En ajustant le gain sur le nœud AudioGainNode principal, vous pouvez réduire votre mixage à un niveau qui empêche l'écrêtage. Toutefois, en pratique, étant donné que les sons diffusés dans votre jeu peuvent dépendre d'une grande variété de facteurs, il peut être difficile de décider de la valeur de gain principal qui empêche l'écrêtage pour tous les états. En général, vous devez ajuster les gains pour anticiper le pire des cas, mais il s'agit plus d'un art que d'une science.

Ajoutez un peu de sucre

Les compresseurs sont couramment utilisés dans la production de musique et de jeux pour lisser le signal et contrôler les pics dans le signal global. Cette fonctionnalité est disponible dans le monde de l'audio Web via le DynamicsCompressorNode, qui peut être inséré dans votre graphique audio pour donner un son plus fort, plus riche et plus complet, et également aider à l'écrêtage. Pour citer directement la spécification, ce nœud

L'utilisation de la compression dynamique est généralement une bonne idée, en particulier dans un contexte de jeu où, comme indiqué précédemment, vous ne savez pas exactement quels sons seront diffusés ni quand. Plink de DinahMoe Labs en est un excellent exemple, car les sons lus dépendent entièrement de vous et des autres participants. Un compresseur est utile dans la plupart des cas, sauf dans de rares cas, lorsque vous traitez des pistes minutieusement masterisées qui ont déjà été réglées pour sonner "juste".

Pour l'implémenter, il suffit d'inclure un DynamicsCompressorNode dans votre graphique audio, généralement en tant que dernier nœud avant la destination :

// Assume the output is all going through the mix node.
var compressor = context.createDynamicsCompressor();
mix.connect(compressor);
compressor.connect(context.destination);

Pour en savoir plus sur la compression dynamique, consultez cet article Wikipédia, qui est très instructif.

En résumé, écoutez attentivement pour détecter l'écrêtage et l'éviter en insérant un nœud de gain principal. Ensuite, nous resserrons l'ensemble du mix à l'aide d'un nœud de compresseur dynamique. Votre graphique audio peut ressembler à ceci :

Résultat final

Conclusion

Cela couvre ce que je considère comme les aspects les plus importants du développement audio de jeux à l'aide de l'API Web Audio. Grâce à ces techniques, vous pouvez créer des expériences audio vraiment captivantes directement dans votre navigateur. Avant de vous quitter, voici un conseil spécifique au navigateur : veillez à mettre le son en pause si votre onglet passe en arrière-plan à l'aide de l'API Page Visibility. Sinon, vous risquez de créer une expérience potentiellement frustrante pour l'utilisateur.

Pour en savoir plus sur Web Audio, consultez l'article de présentation. Si vous avez une question, vérifiez si elle a déjà été traitée dans les questions fréquentes sur Web Audio. Enfin, si vous avez d'autres questions, posez-les sur Stack Overflow en utilisant le tag web-audio.

Avant de conclure, voici quelques exemples d'utilisation de l'API Web Audio dans des jeux réels :