Giriş
Media Source Extensions (MSE), HTML5 <audio> ve <video> öğeleri için genişletilmiş arabelleğe alma ve oynatma kontrolü sağlar. Başlangıçta HTTP üzerinden Dinamik Adaptif Akış (DASH) tabanlı video oynatıcıları kolaylaştırmak için geliştirilmiş olsa da aşağıda, ses için (özellikle kesintisiz oynatma için) nasıl kullanılabileceğini göreceğiz.
Şarkıların parçalar arasında kesintisiz bir şekilde aktığı bir müzik albümü dinlemiş olabilirsiniz. Hatta şu anda bile böyle bir albüm dinliyor olabilirsiniz. Sanatçılar bu kesintisiz oynatma deneyimlerini hem sanatsal bir tercih olarak hem de sesin tek bir sürekli akış olarak yazıldığı plakların ve CD'lerin bir yapay öğesi olarak oluşturur. Maalesef MP3 ve AAC gibi modern ses codec'lerinin çalışma şekli nedeniyle bu kesintisiz ses deneyimi günümüzde genellikle kayboluyor.
Bunun nedenlerini aşağıda ayrıntılı olarak ele alacağız ancak şimdilik bir örnekle başlayalım. Aşağıda, mükemmel Sintel'in ilk otuz saniyesi beş ayrı MP3 dosyasına bölünmüş ve MSE kullanılarak yeniden birleştirilmiştir. Kırmızı çizgiler, her bir MP3'ün oluşturulması (kodlanması) sırasında ortaya çıkan boşlukları gösterir. Bu noktalarda ses kesintileri duyarsınız.
Iyy! Bu iyi bir deneyim değil. Daha iyisini yapabiliriz. Biraz daha çalışarak, yukarıdaki demoda kullanılan MP3 dosyalarının aynısını kullanarak MSE ile bu can sıkıcı boşlukları kaldırabiliriz. Bir sonraki demoda yeşil çizgiler, dosyaların birleştirildiği ve boşlukların kaldırıldığı yerleri gösterir. Chrome 38 ve sonraki sürümlerde sorunsuz bir şekilde oynatılır.
Kesintisiz içerik oluşturmanın çeşitli yolları vardır. Bu demo için normal bir kullanıcının sahip olabileceği dosya türlerine odaklanacağız. Her dosya, kendisinden önceki veya sonraki ses segmentleri dikkate alınmadan ayrı ayrı kodlanmıştır.
Temel ayarlar
Öncelikle geri dönüp bir MediaSource örneğinin temel kurulumunu ele alalım.
Media Source Extensions, adından da anlaşılacağı gibi mevcut medya öğelerinin uzantılarıdır. Aşağıda, MediaSource örneğimizi temsil eden bir Object URL değerini, standart bir URL ayarladığınız gibi bir ses öğesinin kaynak özelliğine atıyoruz.
var audio = document.createElement('audio');
var mediaSource = new MediaSource();
var SEGMENTS = 5;
mediaSource.addEventListener('sourceopen', function () {
var sourceBuffer = mediaSource.addSourceBuffer('audio/mpeg');
function onAudioLoaded(data, index) {
// Append the ArrayBuffer data into our new SourceBuffer.
sourceBuffer.appendBuffer(data);
}
// Retrieve an audio segment via XHR. For simplicity, we're retrieving the
// entire segment at once, but we could also retrieve it in chunks and append
// each chunk separately. MSE will take care of assembling the pieces.
GET('sintel/sintel_0.mp3', function (data) {
onAudioLoaded(data, 0);
});
});
audio.src = URL.createObjectURL(mediaSource);
MediaSource nesnesi bağlandıktan sonra bazı başlatma işlemleri gerçekleştirir ve sonunda bir sourceopen etkinliği tetikler. Bu noktada bir SourceBuffer oluşturabiliriz. Yukarıdaki örnekte, MP3 segmentlerimizi ayrıştırıp kodunu çözebilen bir audio/mpeg oluşturuyoruz. Başka türler de mevcuttur.
Anormal dalga formları
Koda birazdan döneceğiz ancak şimdi eklediğimiz dosyaya, özellikle de sonuna daha yakından bakalım. Aşağıda, sintel_0.mp3 parçasının her iki kanalındaki son 3.000 örneğin ortalamasını gösteren bir grafik yer almaktadır. Kırmızı çizgi üzerindeki her piksel, [-1.0, 1.0] aralığında bir kayan nokta örneğidir.

What's with all that those zero (silent) samples!? Bu bozulmalar, kodlama sırasında ortaya çıkan sıkıştırma kusurlarından kaynaklanır. Neredeyse her kodlayıcı, bir tür dolgu ekler. Bu durumda LAME, dosyanın sonuna tam olarak 576 dolgu örneği eklemiştir.
Sonuna eklenen dolguya ek olarak her dosyanın başına da dolgu eklenmiş. Parçanın ilerleyen kısımlarına baktığımızda
sintel_1.mp3
başlangıçta 576 dolgu örneği daha olduğunu görürüz. Dolgu miktarı, kodlayıcıya ve içeriğe göre değişir ancak her dosyada bulunan metadata sayesinde tam değerleri biliriz.

Her dosyanın başındaki ve sonundaki sessiz bölümler, önceki demoda segmentler arasında kesintilere neden oluyor. Kesintisiz oynatma için bu sessiz bölümleri kaldırmamız gerekir. Neyse ki MediaSource ile bunu kolayca yapabilirsiniz. Aşağıda, bu sessizliği kaldırmak için ekleme penceresi ve zaman damgası ofseti kullanacak şekilde onAudioLoaded() yöntemimizi değiştireceğiz.
Örnek kod
function onAudioLoaded(data, index) {
// Parsing gapless metadata is unfortunately non trivial and a bit messy, so
// we'll glaze over it here; see the appendix for details.
// ParseGaplessData() will return a dictionary with two elements:
//
// audioDuration: Duration in seconds of all non-padding audio.
// frontPaddingDuration: Duration in seconds of the front padding.
//
var gaplessMetadata = ParseGaplessData(data);
// Each appended segment must be appended relative to the next. To avoid any
// overlaps, we'll use the end timestamp of the last append as the starting
// point for our next append or zero if we haven't appended anything yet.
var appendTime = index > 0 ? sourceBuffer.buffered.end(0) : 0;
// Simply put, an append window allows you to trim off audio (or video) frames
// which fall outside of a specified time range. Here, we'll use the end of
// our last append as the start of our append window and the end of the real
// audio data for this segment as the end of our append window.
sourceBuffer.appendWindowStart = appendTime;
sourceBuffer.appendWindowEnd = appendTime + gaplessMetadata.audioDuration;
// The timestampOffset field essentially tells MediaSource where in the media
// timeline the data given to appendBuffer() should be placed. I.e., if the
// timestampOffset is 1 second, the appended data will start 1 second into
// playback.
//
// MediaSource requires that the media timeline starts from time zero, so we
// need to ensure that the data left after filtering by the append window
// starts at time zero. We'll do this by shifting all of the padding we want
// to discard before our append time (and thus, before our append window).
sourceBuffer.timestampOffset =
appendTime - gaplessMetadata.frontPaddingDuration;
// When appendBuffer() completes, it will fire an updateend event signaling
// that it's okay to append another segment of media. Here, we'll chain the
// append for the next segment to the completion of our current append.
if (index == 0) {
sourceBuffer.addEventListener('updateend', function () {
if (++index < SEGMENTS) {
GET('sintel/sintel_' + index + '.mp3', function (data) {
onAudioLoaded(data, index);
});
} else {
// We've loaded all available segments, so tell MediaSource there are no
// more buffers which will be appended.
mediaSource.endOfStream();
URL.revokeObjectURL(audio.src);
}
});
}
// appendBuffer() will now use the timestamp offset and append window settings
// to filter and timestamp the data we're appending.
//
// Note: While this demo uses very little memory, more complex use cases need
// to be careful about memory usage or garbage collection may remove ranges of
// media in unexpected places.
sourceBuffer.appendBuffer(data);
}
Sorunsuz dalga formu
Ekleme pencerelerimizi uyguladıktan sonra dalga formuna tekrar bakarak yeni kodumuzun neler başardığını görelim. Aşağıda, sintel_0.mp3 klibinin sonundaki sessiz bölümün (kırmızı) ve sintel_1.mp3 klibinin başındaki sessiz bölümün (mavi) kaldırıldığını ve segmentler arasında kesintisiz bir geçiş sağlandığını görebilirsiniz.

Sonuç
Böylece beş segmentin tamamını sorunsuz bir şekilde birleştirdik ve demomuzun sonuna geldik. Bitirmeden önce, onAudioLoaded() yöntemimizin kapsayıcıları veya codec'leri dikkate almadığını fark etmiş olabilirsiniz.
Bu, tüm bu tekniklerin kapsayıcı veya codec türünden bağımsız olarak çalışacağı anlamına gelir. Aşağıda, MP3 yerine DASH uyumlu parçalı MP4 biçimindeki orijinal demoyu tekrar oynatabilirsiniz.
Daha fazla bilgi edinmek isterseniz kesintisiz içerik oluşturma ve meta veri ayrıştırma konularını daha ayrıntılı incelemek için aşağıdaki ekleri inceleyin. Bu demoyu destekleyen koda daha yakından bakmak için gapless.js sayfasını da inceleyebilirsiniz.
Okuduğunuz için teşekkürler.
Ek A: Kesintisiz içerik oluşturma
Kesintisiz içerik oluşturmak zor olabilir. Aşağıda, bu demoda kullanılan Sintel medyasının oluşturulma sürecini inceleyeceğiz. Başlamak için Sintel'in kayıpsız FLAC ses parçasının bir kopyasına ihtiyacınız olacak. Gelecekte kullanmak üzere SHA1 aşağıda verilmiştir. Araç olarak FFmpeg, MP4Box, LAME ve afconvert içeren bir OSX kurulumu gerekir.
unzip Jan_Morgenstern-Sintel-FLAC.zip
sha1sum 1-Snow_Fight.flac
# 0535ca207ccba70d538f7324916a3f1a3d550194 1-Snow_Fight.flac
Öncelikle 1-Snow_Fight.flac parçasının ilk 31, 5 saniyesini ayıracağız. Oynatma bittiğinde tıklama sesleri duyulmaması için 28.saniyeden itibaren 2,5 saniyelik bir ses azaltma efekti de eklemek istiyoruz. Aşağıdaki FFmpeg komut satırını kullanarak tüm bunları yapabilir ve sonuçları sintel.flac dosyasına kaydedebiliriz.
ffmpeg -i 1-Snow_Fight.flac -t 31.5 -af "afade=t=out:st=28:d=2.5" sintel.flac
Ardından, dosyayı her biri 6,5 saniyelik 5 wave dosyasına böleceğiz.Neredeyse her kodlayıcı wave dosyalarının beslenmesini desteklediği için wave kullanmak en kolay yöntemdir. Yine FFmpeg ile bunu tam olarak yapabiliriz.
Ardından sintel_0.wav, sintel_1.wav, sintel_2.wav,
sintel_3.wav ve sintel_4.wav elde ederiz.
ffmpeg -i sintel.flac -acodec pcm_f32le -map 0 -f segment \
-segment_list out.list -segment_time 6.5 sintel_%d.wav
Şimdi MP3 dosyalarını oluşturalım. LAME, kesintisiz içerik oluşturmak için çeşitli seçenekler sunar. İçerik üzerinde kontrolünüz varsa segmentler arasında boşluk kalmasını tamamen önlemek için tüm dosyaları toplu olarak kodlayarak --nogap kullanmayı düşünebilirsiniz.
Ancak bu demo için bu dolguyu istiyoruz. Bu nedenle, dalga dosyalarının standart yüksek kaliteli VBR kodlamasını kullanacağız.
lame -V=2 sintel_0.wav sintel_0.mp3
lame -V=2 sintel_1.wav sintel_1.mp3
lame -V=2 sintel_2.wav sintel_2.mp3
lame -V=2 sintel_3.wav sintel_3.mp3
lame -V=2 sintel_4.wav sintel_4.mp3
MP3 dosyalarını oluşturmak için yapmanız gereken tek şey budur. Şimdi parçalı MP4 dosyalarının oluşturulmasını ele alalım. iTunes için mastering yapılmış medya oluşturmak için Apple'ın talimatlarını uygulayacağız. Aşağıda, talimatlara göre dalga dosyalarını ara CAF dosyalarına dönüştüreceğiz. Ardından, önerilen parametreleri kullanarak bunları bir MP4 kapsayıcısında AAC olarak kodlayacağız.
afconvert sintel_0.wav sintel_0_intermediate.caf -d 0 -f caff \
--soundcheck-generate
afconvert sintel_1.wav sintel_1_intermediate.caf -d 0 -f caff \
--soundcheck-generate
afconvert sintel_2.wav sintel_2_intermediate.caf -d 0 -f caff \
--soundcheck-generate
afconvert sintel_3.wav sintel_3_intermediate.caf -d 0 -f caff \
--soundcheck-generate
afconvert sintel_4.wav sintel_4_intermediate.caf -d 0 -f caff \
--soundcheck-generate
afconvert sintel_0_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
-b 256000 -q 127 -s 2 sintel_0.m4a
afconvert sintel_1_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
-b 256000 -q 127 -s 2 sintel_1.m4a
afconvert sintel_2_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
-b 256000 -q 127 -s 2 sintel_2.m4a
afconvert sintel_3_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
-b 256000 -q 127 -s 2 sintel_3.m4a
afconvert sintel_4_intermediate.caf -d aac -f m4af -u pgcm 2 --soundcheck-read \
-b 256000 -q 127 -s 2 sintel_4.m4a
Şimdi, MediaSource ile kullanılabilmeleri için uygun şekilde parçalara ayırmamız gereken birkaç M4A dosyamız var. Bizim amacımız için bir saniyelik bir parça boyutu kullanacağız. MP4Box, her parçalı MP4'ü sintel_#_dashinit.mp4 olarak ve silinebilecek bir MPEG-DASH manifesti (sintel_#_dash.mpd) ile birlikte yazar.
MP4Box -dash 1000 sintel_0.m4a && mv sintel_0_dashinit.mp4 sintel_0.mp4
MP4Box -dash 1000 sintel_1.m4a && mv sintel_1_dashinit.mp4 sintel_1.mp4
MP4Box -dash 1000 sintel_2.m4a && mv sintel_2_dashinit.mp4 sintel_2.mp4
MP4Box -dash 1000 sintel_3.m4a && mv sintel_3_dashinit.mp4 sintel_3.mp4
MP4Box -dash 1000 sintel_4.m4a && mv sintel_4_dashinit.mp4 sintel_4.mp4
rm sintel_{0,1,2,3,4}_dash.mpd
İşte bu kadar. Artık kesintisiz oynatma için gerekli olan doğru meta verilere sahip parçalı MP4 ve MP3 dosyalarımız var. Bu meta verilerin nasıl göründüğüyle ilgili daha fazla bilgi için Ek B'ye bakın.
Ek B: Kesintisiz meta verileri ayrıştırma
Kesintisiz içerik oluşturmak gibi, kesintisiz meta verileri ayrıştırmak da depolama için standart bir yöntem olmadığından zor olabilir. Aşağıda, en yaygın iki kodlayıcı olan LAME ve iTunes'un, boşluksuz meta verilerini nasıl depoladığı açıklanmaktadır. Öncelikle, yukarıda kullanılan ParseGaplessData() için bazı yardımcı yöntemler ve bir taslak oluşturalım.
// Since most MP3 encoders store the gapless metadata in binary, we'll need a
// method for turning bytes into integers. Note: This doesn't work for values
// larger than 2^30 since we'll overflow the signed integer type when shifting.
function ReadInt(buffer) {
var result = buffer.charCodeAt(0);
for (var i = 1; i < buffer.length; ++i) {
result <<= 8;
result += buffer.charCodeAt(i);
}
return result;
}
function ParseGaplessData(arrayBuffer) {
// Gapless data is generally within the first 512 bytes, so limit parsing.
var byteStr = new TextDecoder().decode(arrayBuffer.slice(0, 512));
var frontPadding = 0, endPadding = 0, realSamples = 0;
// ... we'll fill this in as we go below.
Ayrıştırması ve açıklaması en kolay olan Apple'ın iTunes meta veri biçimini ilk olarak ele alacağız. iTunes (ve afconvert), MP3 ve M4A dosyalarına ASCII biçiminde kısa bir bölüm yazar:
iTunSMPB[ 26 bytes ]0000000 00000840 000001C0 0000000000046E00
Bu, MP3 kapsayıcısındaki bir ID3 etiketinin içine ve MP4 kapsayıcısındaki bir meta veri atomunun içine yazılır. Bizim amacımız için ilk 0000000 jetonunu yok sayabiliriz. Sonraki üç jeton; ön dolgu, son dolgu ve dolgu olmayan toplam örnek sayısıdır. Bunların her birini sesin örnek hızına böldüğümüzde her birinin süresini elde ederiz.
// iTunes encodes the gapless data as hex strings like so:
//
// 'iTunSMPB[ 26 bytes ]0000000 00000840 000001C0 0000000000046E00'
// 'iTunSMPB[ 26 bytes ]####### frontpad endpad real samples'
//
// The approach here elides the complexity of actually parsing MP4 atoms. It
// may not work for all files without some tweaks.
var iTunesDataIndex = byteStr.indexOf('iTunSMPB');
if (iTunesDataIndex != -1) {
var frontPaddingIndex = iTunesDataIndex + 34;
frontPadding = parseInt(byteStr.substr(frontPaddingIndex, 8), 16);
var endPaddingIndex = frontPaddingIndex + 9;
endPadding = parseInt(byteStr.substr(endPaddingIndex, 8), 16);
var sampleCountIndex = endPaddingIndex + 9;
realSamples = parseInt(byteStr.substr(sampleCountIndex, 16), 16);
}
Öte yandan, çoğu açık kaynaklı MP3 kodlayıcı, boşluksuz meta verileri sessiz bir MPEG karesinin içine yerleştirilmiş özel bir Xing başlığında depolar (sessizdir, bu nedenle Xing başlığını anlamayan kod çözücüler yalnızca sessizliği oynatır). Maalesef bu etiket her zaman mevcut değildir ve bir dizi isteğe bağlı alan içerir. Bu demoda medya üzerinde kontrolümüz var ancak pratikte, kesintisiz meta verilerin ne zaman kullanılabilir olduğunu bilmek için bazı ek hassasiyet kontrolleri gerekir.
Öncelikle toplam örnek sayısını ayrıştıracağız. Basitlik açısından bunu Xing başlığından okuyacağız ancak normal MPEG ses başlığından da oluşturulabilir.
Xing başlıkları Xing veya Info etiketiyle işaretlenebilir. Bu etiketten tam olarak 4 bayt sonra, dosyadaki toplam kare sayısını temsil eden 32 bit bulunur. Bu değeri kare başına örnek sayısıyla çarptığımızda dosyadaki toplam örnek sayısını elde ederiz.
// Xing padding is encoded as 24bits within the header. Note: This code will
// only work for Layer3 Version 1 and Layer2 MP3 files with XING frame counts
// and gapless information. See the following document for more details:
// http://www.codeproject.com/Articles/8295/MPEG-Audio-Frame-Header
var xingDataIndex = byteStr.indexOf('Xing');
if (xingDataIndex == -1) xingDataIndex = byteStr.indexOf('Info');
if (xingDataIndex != -1) {
// See section 2.3.1 in the link above for the specifics on parsing the Xing
// frame count.
var frameCountIndex = xingDataIndex + 8;
var frameCount = ReadInt(byteStr.substr(frameCountIndex, 4));
// For Layer3 Version 1 and Layer2 there are 1152 samples per frame. See
// section 2.1.5 in the link above for more details.
var paddedSamples = frameCount * 1152;
// ... we'll cover this below.
Toplam örnek sayısını bulduğumuza göre dolgu örneklerinin sayısını okumaya geçebiliriz. Kodlayıcınıza bağlı olarak bu, Xing başlığında iç içe yerleştirilmiş bir LAME veya Lavf etiketi altında yazılabilir. Bu başlıktan tam 17 bayt sonra, sırasıyla 12 bitlik ön ve son dolguyu temsil eden 3 bayt bulunur.
xingDataIndex = byteStr.indexOf('LAME');
if (xingDataIndex == -1) xingDataIndex = byteStr.indexOf('Lavf');
if (xingDataIndex != -1) {
// See http://gabriel.mp3-tech.org/mp3infotag.html#delays for details of
// how this information is encoded and parsed.
var gaplessDataIndex = xingDataIndex + 21;
var gaplessBits = ReadInt(byteStr.substr(gaplessDataIndex, 3));
// Upper 12 bits are the front padding, lower are the end padding.
frontPadding = gaplessBits >> 12;
endPadding = gaplessBits & 0xFFF;
}
realSamples = paddedSamples - (frontPadding + endPadding);
}
return {
audioDuration: realSamples * SECONDS_PER_SAMPLE,
frontPaddingDuration: frontPadding * SECONDS_PER_SAMPLE
};
}
Böylece, kesintisiz içeriklerin büyük çoğunluğunu ayrıştırmak için eksiksiz bir işlevimiz olur. Ancak uç durumlar kesinlikle çok fazladır. Bu nedenle, benzer kodları üretimde kullanmadan önce dikkatli olmanız önerilir.
Ek C: Atık toplama hakkında
SourceBuffer örneklerine ait bellek, içerik türüne, platforma özgü sınırlara ve mevcut oynatma konumuna göre etkin bir şekilde çöp toplama işlemine tabi tutulur. Chrome'da bellek, ilk olarak daha önce oynatılan arabelleklerden geri alınır.
Ancak bellek kullanımı platforma özgü sınırları aşarsa oynatılmayan arabelleklerden bellek kaldırılır.
Oynatma, geri kazanılan bellek nedeniyle zaman çizelgesinde bir boşluğa ulaştığında, boşluk yeterince küçükse aksaklık yaşayabilir veya boşluk çok büyükse tamamen durabilir. İkisi de iyi bir kullanıcı deneyimi sunmaz. Bu nedenle, tek seferde çok fazla veri eklemekten kaçınmak ve artık gerekli olmayan aralıkları medya zaman çizelgesinden manuel olarak kaldırmak önemlidir.
Aralıklar, her SourceBuffer için remove() yöntemiyle kaldırılabilir. Bu yöntem, saniye cinsinden bir [start, end] aralığı alır.
appendBuffer() parametresine benzer şekilde, her remove() tamamlandığında bir updateend etkinliği tetiklenir. Etkinlik tetiklenene kadar başka kaldırma veya ekleme işlemi yapılmamalıdır.
Chrome'un masaüstü sürümünde, yaklaşık 12 megabayt ses içeriğini ve 150 megabayt video içeriğini aynı anda bellekte tutabilirsiniz. Tarayıcılar veya platformlar genelinde bu değerlere güvenmemelisiniz. Örneğin, bu değerler mobil cihazları kesinlikle temsil etmez.
Çöp toplama yalnızca SourceBuffers öğesine eklenen verileri etkiler. JavaScript değişkenlerinde ne kadar veri tutabileceğinizle ilgili bir sınır yoktur. Gerekirse aynı verileri aynı konuma yeniden ekleyebilirsiniz.