音声用の Media Source Extensions

Dale Curtis
Dale Curtis

はじめに

Media Source Extensions(MSE)は、HTML5 の <audio> 要素と <video> 要素に対して、拡張バッファリングと再生コントロールを提供します。もともとは Dynamic Adaptive Streaming over HTTP(DASH)ベースの動画プレーヤーを容易にするために開発されたものですが、以下では、音声、特にギャップレス再生にどのように使用できるかについて説明します。

トラック間で曲がシームレスに流れる音楽アルバムを聴いたことがあるでしょう。今まさに聴いているかもしれません。アーティストは、芸術的な選択として、また、音声が 1 つの連続ストリームとして書き込まれたレコード盤や CD のアーティファクトとして、このようなギャップレス再生エクスペリエンスを作成します。残念ながら、MP3 や AAC などの最新のオーディオ コーデックの仕組みにより、このシームレスなオーディオ体験は失われることがよくあります。

その理由については後ほど詳しく説明しますが、まずはデモから始めましょう。以下は、優れた Sintel の最初の 30 秒を 5 つの個別の MP3 ファイルに分割し、MSE を使用して再構成したものです。赤色の線は、各 MP3 の作成(エンコード)時に発生したギャップを示しています。これらのポイントでグリッチが発生します。

デモ

うわっ!これは、ユーザー エクスペリエンスの観点から望ましいことではありません。少し手を加えるだけで、上記のデモとまったく同じ MP3 ファイルを使用して、MSE で不快なギャップを解消できます。次のデモの緑色の線は、ファイルが結合され、ギャップが削除された場所を示しています。Chrome 38 以降では、シームレスに再生されます。

デモ

ギャップレス コンテンツを作成する方法はさまざまです。このデモでは、一般ユーザーが持っている可能性のあるファイルの種類に焦点を当てます。各ファイルは、前後のオーディオ セグメントに関係なく、個別にエンコードされています。

基本設定

まず、MediaSource インスタンスの基本的な設定について説明します。Media Source Extensions は、その名のとおり、既存のメディア要素の拡張機能にすぎません。以下では、MediaSource インスタンスを表す Object URL を、標準の URL を設定する場合と同様に、audio 要素の source 属性に割り当てています。

var audio = document.createElement('audio');
var mediaSource = new MediaSource();
var SEGMENTS = 5;

mediaSource.addEventListener('sourceopen', function () {
  var sourceBuffer = mediaSource.addSourceBuffer('audio/mpeg');

  function onAudioLoaded(data, index) {
    // Append the ArrayBuffer data into our new SourceBuffer.
    sourceBuffer.appendBuffer(data);
  }

  // Retrieve an audio segment via XHR.  For simplicity, we're retrieving the
  // entire segment at once, but we could also retrieve it in chunks and append
  // each chunk separately.  MSE will take care of assembling the pieces.
  GET('sintel/sintel_0.mp3', function (data) {
    onAudioLoaded(data, 0);
  });
});

audio.src = URL.createObjectURL(mediaSource);

MediaSource オブジェクトが接続されると、初期化が実行され、最終的に sourceopen イベントが発生します。この時点で、SourceBuffer を作成できます。上記の例では、MP3 セグメントを解析してデコードできる audio/mpeg を作成しています。他にもいくつかのタイプが用意されています。

異常な波形

コードについては後ほど説明しますが、ここでは、追加したファイルの末尾を詳しく見てみましょう。以下は、sintel_0.mp3 トラックの両方のチャンネルで平均化された、最後の 3, 000 サンプルのグラフです。赤色の線の各ピクセルは、[-1.0, 1.0] の範囲の浮動小数点サンプルです。

mp3 gap

ゼロ(無音)サンプルがすべて含まれているのはなぜですか?実際には、エンコード中に発生した圧縮アーティファクトが原因です。ほぼすべてのエンコーダで、何らかのパディングが導入されています。この場合、LAME はファイルの末尾に 576 個のパディング サンプルを追加しました。

末尾のパディングに加えて、各ファイルの先頭にもパディングが追加されました。sintel_1.mp3 トラックを先読みすると、先頭にさらに 576 サンプルのパディングが存在することがわかります。パディングの量はエンコーダとコンテンツによって異なりますが、各ファイルに含まれる metadata に基づいて正確な値がわかります。

mp3 ギャップ終了

各ファイルの最初と最後にある無音部分が、前のデモでセグメント間に不具合を引き起こした原因です。ギャップレス再生を実現するには、これらの無音部分を削除する必要があります。幸い、これは MediaSource で簡単に実現できます。以下では、onAudioLoaded() メソッドを変更して、追加ウィンドウとタイムスタンプ オフセットを使用してこの無音部分を削除します。

コード例

function onAudioLoaded(data, index) {
  // Parsing gapless metadata is unfortunately non trivial and a bit messy, so
  // we'll glaze over it here; see the appendix for details.
  // ParseGaplessData() will return a dictionary with two elements:
  //
  //    audioDuration: Duration in seconds of all non-padding audio.
  //    frontPaddingDuration: Duration in seconds of the front padding.
  //
  var gaplessMetadata = ParseGaplessData(data);

  // Each appended segment must be appended relative to the next.  To avoid any
  // overlaps, we'll use the end timestamp of the last append as the starting
  // point for our next append or zero if we haven't appended anything yet.
  var appendTime = index > 0 ? sourceBuffer.buffered.end(0) : 0;

  // Simply put, an append window allows you to trim off audio (or video) frames
  // which fall outside of a specified time range.  Here, we'll use the end of
  // our last append as the start of our append window and the end of the real
  // audio data for this segment as the end of our append window.
  sourceBuffer.appendWindowStart = appendTime;
  sourceBuffer.appendWindowEnd = appendTime + gaplessMetadata.audioDuration;

  // The timestampOffset field essentially tells MediaSource where in the media
  // timeline the data given to appendBuffer() should be placed.  I.e., if the
  // timestampOffset is 1 second, the appended data will start 1 second into
  // playback.
  //
  // MediaSource requires that the media timeline starts from time zero, so we
  // need to ensure that the data left after filtering by the append window
  // starts at time zero.  We'll do this by shifting all of the padding we want
  // to discard before our append time (and thus, before our append window).
  sourceBuffer.timestampOffset =
    appendTime - gaplessMetadata.frontPaddingDuration;

  // When appendBuffer() completes, it will fire an updateend event signaling
  // that it's okay to append another segment of media.  Here, we'll chain the
  // append for the next segment to the completion of our current append.
  if (index == 0) {
    sourceBuffer.addEventListener('updateend', function () {
      if (++index < SEGMENTS) {
        GET('sintel/sintel_' + index + '.mp3', function (data) {
          onAudioLoaded(data, index);
        });
      } else {
        // We've loaded all available segments, so tell MediaSource there are no
        // more buffers which will be appended.
        mediaSource.endOfStream();
        URL.revokeObjectURL(audio.src);
      }
    });
  }

  // appendBuffer() will now use the timestamp offset and append window settings
  // to filter and timestamp the data we're appending.
  //
  // Note: While this demo uses very little memory, more complex use cases need
  // to be careful about memory usage or garbage collection may remove ranges of
  // media in unexpected places.
  sourceBuffer.appendBuffer(data);
}

シームレスな波形

追加ウィンドウを適用した後の波形をもう一度見て、新しいコードで何が達成されたかを確認しましょう。以下に示すように、sintel_0.mp3 の末尾の無音セクション(赤色)と sintel_1.mp3 の先頭の無音セクション(青色)が削除され、セグメント間のシームレスな移行が実現されています。

mp3 mid

まとめ

これで、5 つのセグメントすべてがシームレスに 1 つに結合され、デモは終了です。最後に、onAudioLoaded() メソッドがコンテナやコーデックを考慮していないことにお気づきかもしれません。つまり、これらの手法はすべて、コンテナやコーデックの種類に関係なく機能します。以下では、MP3 の代わりに、元のデモの DASH 対応のフラグメント化された MP4 を再生できます。

デモ

詳細については、以下の付録で、ギャップレス コンテンツの作成とメタデータの解析についてご確認ください。gapless.js で、このデモを支えるコードを詳しく確認することもできます。

最後までお読みいただきありがとうございました。

付録 A: ギャップのないコンテンツの作成

ギャップレス コンテンツを正しく作成するのは難しい場合があります。以下では、このデモで使用する Sintel メディアの作成手順について説明します。まず、Sintel のロスレス FLAC サウンドトラックのコピーが必要です。後世のために、SHA1 を以下に示します。ツールとしては、FFmpeg、MP4Box、LAME、afconvert がインストールされた OSX が必要です。

    unzip Jan_Morgenstern-Sintel-FLAC.zip
    sha1sum 1-Snow_Fight.flac
    # 0535ca207ccba70d538f7324916a3f1a3d550194  1-Snow_Fight.flac

まず、1-Snow_Fight.flac トラックの最初の 31.5 秒を分割します。また、再生が終了したときにクリックが発生しないように、28 秒から 2.5 秒のフェードアウトを追加します。以下の FFmpeg コマンドラインを使用すると、これらすべてを実行して、結果を sintel.flac に格納できます。

    ffmpeg -i 1-Snow_Fight.flac -t 31.5 -af "afade=t=out:st=28:d=2.5" sintel.flac

次に、ファイルを 6.5 秒ずつの 5 つの wave ファイルに分割します。ほぼすべてのエンコーダが wave の取り込みをサポートしているため、wave を使用するのが最も簡単です。この処理も FFmpeg で正確に行うことができます。処理が完了すると、sintel_0.wav、sintel_1.wav、sintel_2.wav、sintel_3.wav、sintel_4.wav が生成されます。

    ffmpeg -i sintel.flac -acodec pcm_f32le -map 0 -f segment \
           -segment_list out.list -segment_time 6.5 sintel_%d.wav

次に、MP3 ファイルを作成しましょう。LAME には、ギャップレス コンテンツを作成するためのオプションがいくつかあります。コンテンツを管理している場合は、すべてのファイルのバッチ エンコードで --nogap を使用して、セグメント間のパディングを完全に回避することを検討してください。ただし、このデモではパディングが必要なため、wave ファイルの標準的な高品質 VBR エンコードを使用します。

    lame -V=2 sintel_0.wav sintel_0.mp3
    lame -V=2 sintel_1.wav sintel_1.mp3
    lame -V=2 sintel_2.wav sintel_2.mp3
    lame -V=2 sintel_3.wav sintel_3.mp3
    lame -V=2 sintel_4.wav sintel_4.mp3

MP3 ファイルの作成に必要なのはこれだけです。次に、フラグメント化された MP4 ファイルの作成について説明します。iTunes 向けにマスタリングされたメディアを作成するための Apple の指示に従います。以下では、推奨パラメータを使用して MP4 コンテナで AAC としてエンコードする前に、手順に沿って wave ファイルを中間 CAF ファイルに変換します。

    afconvert sintel_0.wav sintel_0_intermediate.caf -d 0 -f caff \
              --soundcheck-generate
    afconvert sintel_1.wav sintel_1_intermediate.caf -d 0 -f caff \
              --soundcheck-generate
    afconvert sintel_2.wav sintel_2_intermediate.caf -d 0 -f caff \
              --soundcheck-generate
    afconvert sintel_3.wav sintel_3_intermediate.caf -d 0 -f caff \
              --soundcheck-generate
    afconvert sintel_4.wav sintel_4_intermediate.caf -d 0 -f caff \
              --soundcheck-generate
    afconvert sintel_0_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
              -b 256000 -q 127 -s 2 sintel_0.m4a
    afconvert sintel_1_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
              -b 256000 -q 127 -s 2 sintel_1.m4a
    afconvert sintel_2_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
              -b 256000 -q 127 -s 2 sintel_2.m4a
    afconvert sintel_3_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
              -b 256000 -q 127 -s 2 sintel_3.m4a
    afconvert sintel_4_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
              -b 256000 -q 127 -s 2 sintel_4.m4a

これで、いくつかの M4A ファイルが作成されました。これらのファイルを MediaSource で使用するには、適切にフラグメント化する必要があります。ここでは、1 秒のフラグメント サイズを使用します。MP4Box は、各フラグメント化された MP4 を sintel_#_dashinit.mp4 として書き出し、MPEG-DASH マニフェスト(sintel_#_dash.mpd)を破棄します。

    MP4Box -dash 1000 sintel_0.m4a && mv sintel_0_dashinit.mp4 sintel_0.mp4
    MP4Box -dash 1000 sintel_1.m4a && mv sintel_1_dashinit.mp4 sintel_1.mp4
    MP4Box -dash 1000 sintel_2.m4a && mv sintel_2_dashinit.mp4 sintel_2.mp4
    MP4Box -dash 1000 sintel_3.m4a && mv sintel_3_dashinit.mp4 sintel_3.mp4
    MP4Box -dash 1000 sintel_4.m4a && mv sintel_4_dashinit.mp4 sintel_4.mp4
    rm sintel_{0,1,2,3,4}_dash.mpd

これで、これで、ギャップレス再生に必要な正しいメタデータを含む、断片化された MP4 ファイルと MP3 ファイルが作成されました。メタデータの詳細については、付録 B をご覧ください。

付録 B: ギャップレス メタデータの解析

ギャップレス コンテンツの作成と同様に、ギャップレス メタデータの解析も、標準的な保存方法がないため、複雑になる可能性があります。以下では、最も一般的な 2 つのエンコーダ(LAME と iTunes)がギャップレス メタデータを保存する方法について説明します。まず、いくつかのヘルパー メソッドと、上記で使用した ParseGaplessData() のアウトラインを設定します。

    // Since most MP3 encoders store the gapless metadata in binary, we'll need a
    // method for turning bytes into integers.  Note: This doesn't work for values
    // larger than 2^30 since we'll overflow the signed integer type when shifting.
    function ReadInt(buffer) {
      var result = buffer.charCodeAt(0);
      for (var i = 1; i < buffer.length; ++i) {
        result <<= 8;
        result += buffer.charCodeAt(i);
      }
      return result;
    }

    function ParseGaplessData(arrayBuffer) {
      // Gapless data is generally within the first 512 bytes, so limit parsing.
      var byteStr = new TextDecoder().decode(arrayBuffer.slice(0, 512));

      var frontPadding = 0, endPadding = 0, realSamples = 0;

      // ... we'll fill this in as we go below.

まず、Apple の iTunes メタデータ形式について説明します。これは、解析と説明が最も簡単な形式です。MP3 ファイルと M4A ファイル内で、iTunes(および afconvert)は次のように ASCII で短いセクションを書き込みます。

    iTunSMPB[ 26 bytes ]0000000 00000840 000001C0 0000000000046E00

これは、MP3 コンテナ内の ID3 タグ内と、MP4 コンテナ内のメタデータ atom 内に書き込まれます。この例では、最初の 0000000 トークンは無視できます。次の 3 つのトークンは、フロント パディング、エンド パディング、パディング以外のサンプル数の合計です。これらを音声のサンプルレートで割ると、それぞれの長さが得られます。

// iTunes encodes the gapless data as hex strings like so:
//
//    'iTunSMPB[ 26 bytes ]0000000 00000840 000001C0 0000000000046E00'
//    'iTunSMPB[ 26 bytes ]####### frontpad  endpad    real samples'
//
// The approach here elides the complexity of actually parsing MP4 atoms. It
// may not work for all files without some tweaks.
var iTunesDataIndex = byteStr.indexOf('iTunSMPB');
if (iTunesDataIndex != -1) {
  var frontPaddingIndex = iTunesDataIndex + 34;
  frontPadding = parseInt(byteStr.substr(frontPaddingIndex, 8), 16);

  var endPaddingIndex = frontPaddingIndex + 9;
  endPadding = parseInt(byteStr.substr(endPaddingIndex, 8), 16);

  var sampleCountIndex = endPaddingIndex + 9;
  realSamples = parseInt(byteStr.substr(sampleCountIndex, 16), 16);
}

一方、ほとんどのオープンソース MP3 エンコーダは、ギャップレス メタデータを、無音の MPEG フレーム内に配置された特別な Xing ヘッダー内に保存します(無音であるため、Xing ヘッダーを認識しないデコーダは単に無音を再生します)。残念ながら、このタグは常に存在するとは限らず、多数のオプション フィールドがあります。このデモでは、メディアを制御できますが、実際には、ギャップレス メタデータが実際に利用可能かどうかを判断するために、追加の感度チェックが必要になります。

まず、サンプルの総数を解析します。簡単にするために、これは Xing ヘッダーから読み取りますが、通常の MPEG オーディオ ヘッダーから作成することもできます。Xing ヘッダーは、Xing タグまたは Info タグでマークできます。このタグの 4 バイト後に、ファイル内のフレームの総数を表す 32 ビットがあります。この値にフレームあたりのサンプル数を掛けると、ファイル内の総サンプル数が得られます。

    // Xing padding is encoded as 24bits within the header.  Note: This code will
    // only work for Layer3 Version 1 and Layer2 MP3 files with XING frame counts
    // and gapless information.  See the following document for more details:
    // http://www.codeproject.com/Articles/8295/MPEG-Audio-Frame-Header
    var xingDataIndex = byteStr.indexOf('Xing');
    if (xingDataIndex == -1) xingDataIndex = byteStr.indexOf('Info');
    if (xingDataIndex != -1) {
      // See section 2.3.1 in the link above for the specifics on parsing the Xing
      // frame count.
      var frameCountIndex = xingDataIndex + 8;
      var frameCount = ReadInt(byteStr.substr(frameCountIndex, 4));

      // For Layer3 Version 1 and Layer2 there are 1152 samples per frame.  See
      // section 2.1.5 in the link above for more details.
      var paddedSamples = frameCount * 1152;

      // ... we'll cover this below.

サンプルの総数がわかったので、パディング サンプルの数を読み取ることができます。エンコーダによっては、Xing ヘッダーにネストされた LAME タグまたは Lavf タグの下に書き込まれる場合があります。このヘッダーの 17 バイト後に、それぞれ 12 ビットでフロント パディングとエンド パディングを表す 3 バイトがあります。

        xingDataIndex = byteStr.indexOf('LAME');
        if (xingDataIndex == -1) xingDataIndex = byteStr.indexOf('Lavf');
        if (xingDataIndex != -1) {
          // See http://gabriel.mp3-tech.org/mp3infotag.html#delays for details of
          // how this information is encoded and parsed.
          var gaplessDataIndex = xingDataIndex + 21;
          var gaplessBits = ReadInt(byteStr.substr(gaplessDataIndex, 3));

          // Upper 12 bits are the front padding, lower are the end padding.
          frontPadding = gaplessBits >> 12;
          endPadding = gaplessBits & 0xFFF;
        }

        realSamples = paddedSamples - (frontPadding + endPadding);
      }

      return {
        audioDuration: realSamples * SECONDS_PER_SAMPLE,
        frontPaddingDuration: frontPadding * SECONDS_PER_SAMPLE
      };
    }

これで、ギャップレス コンテンツの大部分を解析するための完全な関数が完成しました。ただし、エッジケースは確かに多数存在するため、本番環境で同様のコードを使用する前に注意することをおすすめします。

付録 C: ガベージ コレクションについて

SourceBuffer インスタンスに属するメモリは、コンテンツ タイプ、プラットフォーム固有の上限、現在の再生位置に応じて、アクティブにガベージ コレクションされます。Chrome では、まず、すでに再生されたバッファからメモリが回収されます。ただし、メモリ使用量がプラットフォーム固有の上限を超えると、再生されていないバッファからメモリが削除されます。

メモリの再利用によりタイムラインにギャップが生じると、再生がそのギャップに達したときに、ギャップが十分に小さければ不具合が生じ、ギャップが大きすぎれば完全に停止する可能性があります。どちらもユーザー エクスペリエンスが低下するため、一度に大量のデータを追加しないようにし、不要になった範囲をメディア タイムラインから手動で削除することが重要です。

範囲を削除するには、各 SourceBuffer の remove() メソッドを使用します。このメソッドは、[start, end] 範囲を秒単位で受け取ります。appendBuffer() と同様に、各 remove() は完了すると updateend イベントを発生させます。イベントが発生するまで、他の削除や追加は発行しないでください。

デスクトップ版 Chrome では、約 12 MB の音声コンテンツと 150 MB の動画コンテンツを一度にメモリに保持できます。これらの値は、ブラウザやプラットフォーム間で信頼できるものではありません。たとえば、モバイル デバイスを代表するものではありません。

ガベージ コレクションは、SourceBuffers に追加されたデータにのみ影響します。JavaScript 変数にバッファできるデータ量に制限はありません。必要に応じて、同じ位置に同じデータを再追加することもできます。

フィードバック