Audio für Spiele mit der Web Audio API entwickeln

Boris Smus
Boris Smus

Einführung

Audio ist ein wichtiger Bestandteil von Multimedia-Inhalten. Wenn Sie schon einmal versucht haben, einen Film ohne Ton anzusehen, ist Ihnen das wahrscheinlich aufgefallen.

Spiele sind da keine Ausnahme. Meine schönsten Erinnerungen an Videospiele sind die Musik und die Soundeffekte. In vielen Fällen kann ich mir auch fast zwei Jahrzehnte, nachdem ich meine Lieblingsspiele gespielt habe, die Zelda-Kompositionen von Koji Kondo und den atmosphärischen Diablo-Soundtrack von Matt Uelmen nicht aus dem Kopf schlagen. Dasselbe gilt für Soundeffekte, wie die sofort erkennbaren Klickantworten der Einheiten aus Warcraft und Samples aus den Klassikern von Nintendo.

Audio in Spielen stellt uns vor einige interessante Herausforderungen. Um überzeugende Spielmusik zu erstellen, müssen sich Designer auf potenziell unvorhersehbare Spielzustände einstellen, in denen sich ein Spieler befindet. In der Praxis können Teile des Spiels unbestimmte Zeit dauern, Sounds können mit der Umgebung interagieren und sich auf komplexe Weise vermischen, z. B. durch Raumeffekte und relative Soundpositionierung. Schließlich können viele Sounds gleichzeitig abgespielt werden, die alle zusammen gut klingen und ohne Leistungseinbußen gerendert werden müssen.

Spielaudio im Web

Bei einfachen Spielen reicht das Tag <audio> möglicherweise aus. Viele Browser bieten jedoch schlechte Implementierungen, was zu Audioproblemen und hoher Latenz führt. Dies ist hoffentlich ein vorübergehendes Problem, da die Anbieter hart daran arbeiten, ihre jeweiligen Implementierungen zu verbessern. Einen Einblick in den Status des <audio>-Tags bietet die Test-Suite auf areweplayingyet.org.

Wenn man sich die Spezifikation des <audio>-Tags genauer ansieht, wird jedoch klar, dass viele Dinge damit einfach nicht möglich sind. Das ist nicht überraschend, da es für die Medienwiedergabe entwickelt wurde. Zu den Einschränkungen gehören:

  • Keine Möglichkeit, Filter auf das Tonsignal anzuwenden
  • Keine Möglichkeit, auf die PCM-Rohdaten zuzugreifen
  • Kein Konzept für Position und Richtung von Quellen und Zuhörern
  • Kein detailliertes Timing.

Im weiteren Verlauf des Artikels gehe ich auf einige dieser Themen im Zusammenhang mit Spielaudio ein, das mit der Web Audio API geschrieben wurde. Eine kurze Einführung in diese API finden Sie in der Anleitung für den Einstieg.

Hintergrundmusik

In Spielen wird oft Hintergrundmusik in einer Schleife abgespielt.

Es kann sehr nervig sein, wenn die Schleife kurz und vorhersehbar ist. Wenn ein Spieler in einem Bereich oder Level feststeckt und im Hintergrund immer wieder dasselbe Sample abgespielt wird, kann es sinnvoll sein, den Track nach und nach auszublenden, um weiteren Frust zu vermeiden. Eine weitere Strategie besteht darin, Mixe mit unterschiedlicher Intensität zu erstellen, die je nach Kontext des Spiels allmählich ineinander übergehen.

Wenn sich der Spieler beispielsweise in einer Zone mit einem epischen Bosskampf befindet, können Sie mehrere Mixe mit unterschiedlichen emotionalen Bereichen von atmosphärisch über vorausschauend bis hin zu intensiv haben. Mit Software für die Musiksynthese können Sie oft mehrere Mixe (mit derselben Länge) basierend auf einem Stück exportieren, indem Sie die Tracks auswählen, die im Export verwendet werden sollen. So sorgen Sie für eine gewisse interne Konsistenz und vermeiden abrupte Übergänge, wenn Sie von einem Track zum anderen überblenden.

GarageBand

Anschließend können Sie mit der Web Audio API alle diese Samples über XHR importieren, z. B. mit der BufferLoader-Klasse. Dies wird im Einführungsartikel zur Web Audio API ausführlich behandelt. Das Laden von Sounds nimmt Zeit in Anspruch. Assets, die im Spiel verwendet werden, sollten daher beim Seitenaufbau, zu Beginn des Levels oder schrittweise während des Spiels geladen werden.

Als Nächstes erstellen Sie eine Quelle für jeden Knoten und einen Verstärkungsknoten für jede Quelle und verbinden den Graphen.

Danach können Sie alle diese Quellen gleichzeitig in einer Schleife wiedergeben. Da sie alle dieselbe Länge haben, sorgt die Web Audio API dafür, dass sie synchron bleiben. Je nachdem, wie nah oder weit die Spielfigur vom Endgegner entfernt ist, kann das Spiel die Verstärkungswerte für jeden der jeweiligen Knoten in der Kette variieren. Dazu wird ein Algorithmus für die Verstärkung wie der folgende verwendet:

// Assume gains is an array of AudioGainNode, normVal is the intensity
// between 0 and 1.
var value = normVal - (gains.length - 1);
// First reset gains on all nodes.
for (var i = 0; i < gains.length; i++) {
    gains[i].gain.value = 0;
}
// Decide which two nodes we are currently between, and do an equal
// power crossfade between them.
var leftNode = Math.floor(value);
// Normalize the value between 0 and 1.
var x = value - leftNode;
var gain1 = Math.cos(x - 0.5*Math.PI);
var gain2 = Math.cos((1.0 - x) - 0.5*Math.PI);
// Set the two gains accordingly.
gains[leftNode].gain.value = gain1;
// Check to make sure that there's a right node.
if (leftNode < gains.length - 1) {
    // If there is, adjust its gain.
    gains[leftNode + 1].gain.value = gain2;
}

Bei diesem Ansatz werden zwei Quellen gleichzeitig wiedergegeben und wir blenden sie mithilfe von Kurven mit gleicher Leistung über (wie in der Einführung beschrieben).

Viele Spieleentwickler verwenden heute das <audio>-Tag für ihre Hintergrundmusik, da es sich gut für Streaming-Inhalte eignet. Jetzt können Sie Inhalte aus dem <audio>-Tag in einen Web Audio-Kontext einbinden.

Diese Technik kann nützlich sein, da das <audio>-Tag mit Streaming-Inhalten funktioniert. So können Sie die Hintergrundmusik sofort abspielen, anstatt warten zu müssen, bis alles heruntergeladen wurde. Wenn Sie den Stream in die Web Audio API einbinden, können Sie ihn bearbeiten oder analysieren. Im folgenden Beispiel wird ein Tiefpassfilter auf die Musik angewendet, die über das <audio>-Tag abgespielt wird:

var audioElement = document.querySelector('audio');
var mediaSourceNode = context.createMediaElementSource(audioElement);
// Create the filter
var filter = context.createBiquadFilter();
// Create the audio graph.
mediaSourceNode.connect(filter);
filter.connect(context.destination);

Eine ausführlichere Erläuterung zur Einbindung des <audio>-Tags in die Web Audio API finden Sie in diesem kurzen Artikel.

Soundeffekte

In Spielen werden häufig Soundeffekte als Reaktion auf Nutzereingaben oder Änderungen des Spielstatus wiedergegeben. Wie Hintergrundmusik können Soundeffekte jedoch sehr schnell nervig werden. Um dies zu vermeiden, ist es oft nützlich, einen Pool ähnlicher, aber unterschiedlicher Sounds zu haben, die abgespielt werden können. Das kann von leichten Variationen von Schrittgeräuschen bis hin zu drastischen Variationen reichen, wie in der Warcraft-Reihe, wenn auf Einheiten geklickt wird.

Ein weiteres wichtiges Merkmal von Soundeffekten in Spielen ist, dass viele davon gleichzeitig auftreten können. Stellen Sie sich vor, Sie befinden sich mitten in einem Feuergefecht mit mehreren Akteuren, die mit Maschinengewehren schießen. Jedes Maschinengewehr feuert viele Male pro Sekunde, sodass Dutzende von Soundeffekten gleichzeitig abgespielt werden. Die gleichzeitige Wiedergabe von Ton aus mehreren, genau getakteten Quellen ist ein Bereich, in dem die Web Audio API wirklich glänzt.

Im folgenden Beispiel wird eine Maschinengewehrsalve aus mehreren einzelnen Schuss-Samples erstellt. Dazu werden mehrere Tonquellen erstellt, deren Wiedergabe zeitlich versetzt erfolgt.

var time = context.currentTime;
for (var i = 0; i < rounds; i++) {
    var source = this.makeSource(this.buffers[M4A1]);
    source.noteOn(time + i - interval);
}

Wenn alle Maschinengewehre in Ihrem Spiel genau so klingen würden, wäre das ziemlich langweilig. Natürlich variieren die Geräusche je nach Entfernung zum Ziel und relativer Position (mehr dazu später), aber selbst das reicht möglicherweise nicht aus. Glücklicherweise bietet die Web Audio API eine Möglichkeit, das obige Beispiel auf zwei Arten zu optimieren:

  1. Mit einer subtilen Zeitverschiebung zwischen den Schüssen
  2. Durch Ändern der Wiedergaberate (playbackRate) jedes Samples (wodurch sich auch die Tonhöhe ändert), um die Zufälligkeit der realen Welt besser zu simulieren.

Ein realistischeres Beispiel für diese Techniken finden Sie in der Pool Table-Demo. Dort werden zufällige Stichproben verwendet und die Wiedergaberate variiert, um einen interessanteren Klang bei der Kollision von Kugeln zu erzielen.

3D-Positionsklang

Spiele sind oft in einer Welt mit bestimmten geometrischen Eigenschaften angesiedelt, entweder in 2D oder in 3D. In diesem Fall kann Stereo-Audio die Immersion erheblich verbessern. Glücklicherweise bietet die Web Audio API integrierte, hardwarebeschleunigte Funktionen für positionales Audio, die recht einfach zu verwenden sind. Übrigens sollten Sie sicherstellen, dass Sie Stereolautsprecher (vorzugsweise Kopfhörer) haben, damit das folgende Beispiel Sinn ergibt.

Im obigen Beispiel befindet sich ein Zuhörer (Personensymbol) in der Mitte des Canvas und die Maus beeinflusst die Position der Quelle (Lautsprechersymbol). Das obige Beispiel zeigt, wie Sie mit AudioPannerNode einen solchen Effekt erzielen können. Die grundlegende Idee des obigen Beispiels besteht darin, auf Mausbewegungen zu reagieren, indem die Position der Audioquelle so festgelegt wird:

PositionSample.prototype.changePosition = function(position) {
    // Position coordinates are in normalized canvas coordinates
    // with -0.5 < x, y < 0.5
    if (position) {
    if (!this.isPlaying) {
        this.play();
    }
    var mul = 2;
    var x = position.x / this.size.width;
    var y = -position.y / this.size.height;
    this.panner.setPosition(x - mul, y - mul, -0.5);
    } else {
    this.stop();
    }
};

Wissenswertes zur Behandlung der Räumlichkeit durch Web Audio:

  • Der Zuhörer befindet sich standardmäßig am Ursprung (0, 0, 0).
  • Die Positions-APIs von Web Audio haben keine Einheiten. Daher habe ich einen Multiplikator eingeführt, damit die Demo besser klingt.
  • Web Audio verwendet die kartesischen Koordinaten, bei denen die y-Achse nach oben zeigt (das Gegenteil der meisten Computergrafiksysteme). Deshalb vertausche ich im obigen Snippet die y-Achse.

Erweitert: Schallkegel

Das Positionsmodell ist sehr leistungsstark und ziemlich fortschrittlich. Es basiert größtenteils auf OpenAL. Weitere Informationen finden Sie in den Abschnitten 3 und 4 der oben verlinkten Spezifikation.

Positionsbasiertes Modell

Es gibt einen einzelnen AudioListener, der an den Web Audio API-Kontext angehängt ist und im Raum über Position und Ausrichtung konfiguriert werden kann. Jede Quelle kann über einen AudioPannerNode geleitet werden, der die Audioeingabe räumlich darstellt. Der Panner-Knoten hat eine Position und Ausrichtung sowie ein Entfernungs- und Richtungsmodell.

Das Entfernungsmodell gibt die Verstärkung in Abhängigkeit von der Nähe zur Quelle an. Das Richtungsmodell kann durch Angabe eines inneren und äußeren Kegels konfiguriert werden, die die (normalerweise negative) Verstärkung bestimmen, wenn sich der Zuhörer innerhalb des inneren Kegels, zwischen dem inneren und äußeren Kegel oder außerhalb des äußeren Kegels befindet.

var panner = context.createPanner();
panner.coneOuterGain = 0.5;
panner.coneOuterAngle = 180;
panner.coneInnerAngle = 0;

Obwohl mein Beispiel in 2D ist, lässt sich dieses Modell leicht auf die dritte Dimension übertragen. Ein Beispiel für 3D-Audio finden Sie in diesem Positionsbeispiel. Zusätzlich zur Position enthält das Web Audio-Soundmodell optional auch die Geschwindigkeit für Doppler-Verschiebungen. In diesem Beispiel wird der Dopplereffekt genauer dargestellt.

Weitere Informationen zu diesem Thema finden Sie in dieser detaillierten Anleitung zum [Mischen von positionellem Audio und WebGL][webgl].

Raumeffekte und ‑filter

In Wirklichkeit hängt die Wahrnehmung von Geräuschen stark von dem Raum ab, in dem sie gehört werden. Dieselbe knarrende Tür klingt in einem Keller ganz anders als in einer großen, offenen Halle. Spiele mit hohem Produktionswert sollten diese Effekte imitieren, da die Erstellung eines separaten Satzes von Samples für jede Umgebung unerschwinglich wäre und zu noch mehr Assets und einer größeren Menge an Spieldaten führen würde.

Vereinfacht gesagt ist der Audiobegriff für den Unterschied zwischen dem Rohsound und dem Klang in der Realität die Impulsantwort. Diese Impulsantworten können mühsam aufgezeichnet werden. Es gibt sogar Websites, auf denen viele dieser vorab aufgezeichneten Impulsantwortdateien (als Audio gespeichert) gehostet werden.

Weitere Informationen dazu, wie Impulsantworten aus einer bestimmten Umgebung erstellt werden können, finden Sie im Abschnitt „Recording Setup“ im Teil Convolution der Web Audio API-Spezifikation.

Für unsere Zwecke ist es wichtiger, dass die Web Audio API eine einfache Möglichkeit bietet, diese Impulsantworten mithilfe des ConvolverNode auf unsere Sounds anzuwenden.

// Make a source node for the sample.
var source = context.createBufferSource();
source.buffer = this.buffer;
// Make a convolver node for the impulse response.
var convolver = context.createConvolver();
convolver.buffer = this.impulseResponseBuffer;
// Connect the graph.
source.connect(convolver);
convolver.connect(context.destination);

Sehen Sie sich auch diese Demo von Raumeffekten auf der Seite mit der Web Audio API-Spezifikation sowie dieses Beispiel an, mit dem Sie die trockene (unbearbeitete) und nasse (über Convolver verarbeitete) Mischung eines großartigen Jazzstandards steuern können.

Der letzte Countdown

Sie haben also ein Spiel erstellt, das positionale Audio konfiguriert und jetzt eine große Anzahl von AudioNodes in Ihrem Diagramm, die alle gleichzeitig wiedergegeben werden. Gut, aber es gibt noch eine Sache zu beachten:

Da mehrere Töne ohne Normalisierung einfach übereinandergelegt werden, kann es vorkommen, dass die Leistungsgrenze des Lautsprechers überschritten wird. Ähnlich wie Bilder, die über die Grenzen des Canvas hinausgehen, können auch Töne abgeschnitten werden, wenn die Wellenform den maximalen Schwellenwert überschreitet. Dadurch entsteht eine deutliche Verzerrung. Die Wellenform sieht in etwa so aus:

Clipping

Hier ist ein echtes Beispiel für Clipping in Aktion. Die Wellenform sieht schlecht aus:

Clipping

Es ist wichtig, auf starke Verzerrungen wie die oben genannten oder umgekehrt auf zu leise Abmischungen zu achten, die die Zuhörer dazu zwingen, die Lautstärke zu erhöhen. Wenn Sie sich in dieser Situation befinden, sollten Sie das Problem unbedingt beheben.

Clipping erkennen

Aus technischer Sicht tritt Clipping auf, wenn der Wert des Signals in einem Kanal den gültigen Bereich überschreitet, also zwischen -1 und 1 liegt. Sobald dies erkannt wird, ist es hilfreich, visuelles Feedback zu geben, dass dies geschieht. Fügen Sie dazu einen JavaScriptAudioNode in Ihr Diagramm ein. Der Audiograph würde so eingerichtet werden:

// Assume entire sound output is being piped through the mix node.
var meter = context.createJavaScriptNode(2048, 1, 1);
meter.onaudioprocess = processAudio;
mix.connect(meter);
meter.connect(context.destination);

Und Clipping könnte im folgenden processAudio-Handler erkannt werden:

function processAudio(e) {
    var buffer = e.inputBuffer.getChannelData(0);

    var isClipping = false;
    // Iterate through buffer to check if any of the |values| exceeds 1.
    for (var i = 0; i < buffer.length; i++) {
    var absValue = Math.abs(buffer[i]);
    if (absValue >= 1) {
        isClipping = true;
        break;
    }
    }
}

Aus Leistungsgründen sollten Sie die JavaScriptAudioNode im Allgemeinen nicht zu oft verwenden. In diesem Fall könnte eine alternative Implementierung der Messung einen RealtimeAnalyserNode im Audiografen für getByteFrequencyData zur Renderingzeit abfragen, wie durch requestAnimationFrame bestimmt. Dieser Ansatz ist effizienter, aber es geht ein Großteil des Signals verloren (einschließlich Stellen, an denen es möglicherweise zu Übersteuerungen kommt), da das Rendering höchstens 60-mal pro Sekunde erfolgt, während sich das Audiosignal viel schneller ändert.

Da die Clip-Erkennung so wichtig ist, wird es in Zukunft wahrscheinlich einen integrierten MeterNode-Web Audio API-Knoten geben.

Übersteuerung verhindern

Durch Anpassen der Verstärkung am Master-AudioGainNode können Sie den Mix auf einen Pegel dämpfen, der Clipping verhindert. In der Praxis kann es jedoch schwierig sein, den Master-Gain-Wert zu bestimmen, der Clipping für alle Zustände verhindert, da die in Ihrem Spiel wiedergegebenen Töne von einer Vielzahl von Faktoren abhängen können. Im Allgemeinen sollten Sie die Verstärkung so anpassen, dass der schlimmste Fall berücksichtigt wird. Das ist jedoch mehr eine Kunst als eine Wissenschaft.

Füge etwas Zucker hinzu

Kompressoren werden in der Musik- und Spieleproduktion häufig verwendet, um das Signal zu glätten und Spitzen im Gesamtsignal zu kontrollieren. Diese Funktion ist in der Web Audio-Welt über den DynamicsCompressorNode verfügbar, der in den Audiographen eingefügt werden kann, um einen lauteren, satteren und volleren Klang zu erzielen und Clipping zu vermeiden. In der Spezifikation heißt es: „Dieser Knoten

Die Verwendung der Dynamikkomprimierung ist im Allgemeinen eine gute Idee, insbesondere in einer Spielumgebung, in der Sie, wie bereits erwähnt, nicht genau wissen, welche Sounds wann abgespielt werden. Plink von DinahMoe Labs ist ein gutes Beispiel dafür, da die wiedergegebenen Töne vollständig von Ihnen und anderen Teilnehmern abhängen. Ein Kompressor ist in den meisten Fällen nützlich, außer in einigen seltenen Fällen, in denen du es mit sorgfältig gemasterten Tracks zu tun hast, die bereits so abgestimmt wurden, dass sie „genau richtig“ klingen.

Dazu müssen Sie lediglich einen DynamicsCompressorNode in Ihren Audiografen einfügen, in der Regel als letzten Knoten vor dem Ziel:

// Assume the output is all going through the mix node.
var compressor = context.createDynamicsCompressor();
mix.connect(compressor);
compressor.connect(context.destination);

Weitere Informationen zur Dynamikkompression finden Sie in diesem Wikipedia-Artikel.

Zusammenfassend lässt sich sagen, dass Sie auf Clipping achten und es verhindern sollten, indem Sie einen Master-Gain-Knoten einfügen. Anschließend wird der gesamte Mix mit einem Dynamikkompressor-Knoten gestrafft. Ihr Audiograph könnte beispielsweise so aussehen:

Endergebnis

Fazit

Das deckt die meiner Meinung nach wichtigsten Aspekte der Entwicklung von Audio für Spiele mit der Web Audio API ab. Mit diesen Techniken können Sie direkt im Browser wirklich überzeugende Audioerlebnisse erstellen. Bevor ich mich verabschiede, möchte ich Ihnen noch einen browserspezifischen Tipp geben: Achten Sie darauf, den Ton zu pausieren, wenn Ihr Tab in den Hintergrund wechselt. Verwenden Sie dazu die Page Visibility API. Andernfalls kann es zu einer potenziell frustrierenden Nutzererfahrung kommen.

Weitere Informationen zu Web Audio finden Sie im Einführungsartikel. Wenn Sie Fragen haben, sehen Sie nach, ob sie bereits in den Web Audio-FAQs beantwortet wurden. Wenn Sie weitere Fragen haben, können Sie diese auf Stack Overflow mit dem Tag web-audio stellen.

Bevor ich mich verabschiede, möchte ich euch noch einige tolle Beispiele für die Verwendung der Web Audio API in echten Spielen zeigen: