簡介
長期以來,音訊/影片擷取一直是網頁程式開發人員夢寐以求的功能。多年來,我們必須仰賴瀏覽器外掛程式 (Flash 或 Silverlight) 才能完成工作。Come on!
HTML5 派上用場。雖然可能不明顯,但 HTML5 的興起帶來了裝置硬體存取權的激增。地理位置 (GPS)、Orientation API (加速計)、WebGL (GPU) 和 Web Audio API (音訊硬體) 都是很好的例子。這些功能非常強大,可提供高階 JavaScript API,並以系統的基礎硬體功能為基礎。
本教學課程將介紹新的 API GetUserMedia,可讓網頁應用程式存取使用者的相機和麥克風。
getUserMedia() 的發展歷程
如果您不熟悉這段歷史,我們如何推出 getUserMedia() API 的過程其實很有趣。
過去幾年來,Media Capture API 衍生出多個變體。許多人體認到需要存取網路上的原生裝置,但這導致每個人和他們的媽媽都制定了新的規格。事情變得如此混亂,W3C 最終決定成立一個工作小組。他們的唯一目的?解開瘋狂謎團!裝置 API 政策 (DAP) 工作小組的任務是整合及標準化大量提案。
我會試著總結 2011 年發生的事…
第 1 輪:HTML Media Capture
HTML Media Capture 是 DAP 首次嘗試標準化網頁上的媒體擷取。運作方式是超載 <input type="file">,並為 accept 參數新增值。
如要讓使用者透過網路攝影機拍攝自己的快照,可以使用 capture=camera:
<input type="file" accept="image/*;capture=camera">
錄製影片或音訊的方式類似:
<input type="file" accept="video/*;capture=camcorder">
<input type="file" accept="audio/*;capture=microphone">
很棒吧?我特別喜歡它重複使用檔案輸入。從語意上來說,這非常合理。這個特定「API」的缺點是無法即時套用效果 (例如將即時網路攝影機資料算繪至 <canvas> 並套用 WebGL 濾鏡)。HTML Media Capture 只能錄製媒體檔案或拍攝快照。
支援:
- Android 3.0 瀏覽器:最早的實作項目之一。請觀看這部影片,瞭解實際做法。
- Android 版 Google Chrome (0.16)
- Firefox Mobile 10.0
- iOS6 Safari 和 Chrome (部分支援)
第 2 回合:裝置元素
許多人認為 HTML Media Capture 的限制太多,因此出現了支援任何類型 (未來) 裝置的新規格。因此,這項設計需要一個新元素,也就是 <device> 元素,這也是 getUserMedia() 的前身。
Opera 是最早根據 <device> 元素建立影片擷取初始實作的瀏覽器之一。不久後 (精確來說是同一天),WhatWG 決定捨棄 <device> 標記,改用另一個新興技術,這次是名為 navigator.getUserMedia() 的 JavaScript API。一週後,Opera 發布了新版本,其中包含對更新後的 getUserMedia() 規格的支援。同年稍晚,Microsoft 也加入了這個行列,發布了支援新規格的 IE9 實驗室。
<device> 的內容如下所示:
<device type="media" onchange="update(this.data)"></device>
<video autoplay></video>
<script>
function update(stream) {
document.querySelector('video').src = stream.url;
}
</script>
支援:
很抱歉,目前沒有任何已發布的瀏覽器包含 <device>。我想這代表少了一個需要擔心的 API :) 不過,<device> 確實有兩個優點:1.) 具有語意,2.) 容易擴充,不只支援音訊/影片裝置。
深呼吸,這項技術發展迅速!
第 3 回合:WebRTC
<device> 元素最終遭到淘汰。
由於 WebRTC (網頁即時通訊) 的努力,尋找合適擷取 API 的速度加快了。這項規格由 W3C WebRTC 工作群組監督。Google、Opera、Mozilla 和其他幾家公司都有實作。
getUserMedia() 與 WebRTC 相關,因為它是該組 API 的閘道。提供存取使用者本機相機/麥克風串流的方法。
支援:
Chrome 21、Opera 18 和 Firefox 17 起支援 getUserMedia()。
開始使用
有了 navigator.mediaDevices.getUserMedia(),我們終於可以不透過外掛程式,直接使用網路攝影機和麥克風輸入。現在只要呼叫,就能存取相機,不必安裝。這項功能直接內建於瀏覽器中。期待嗎?
特徵偵測
功能偵測是檢查 navigator.mediaDevices.getUserMedia 是否存在的簡單方法:
if (navigator.mediaDevices?.getUserMedia) {
// Good to go!
} else {
alert("navigator.mediaDevices.getUserMedia() is not supported");
}
取得輸入裝置的存取權
如要使用網路攝影機或麥克風,我們必須要求權限。
navigator.mediaDevices.getUserMedia() 的第一個參數是物件,用於指定您要存取的每種媒體類型的詳細資料和需求。舉例來說,如要存取網路攝影機,第一個參數應為 {video: true}。如要同時使用麥克風和相機,請傳遞 {video: true, audio: true}:
<video autoplay></video>
<script>
navigator.mediaDevices
.getUserMedia({ video: true, audio: true })
.then((localMediaStream) => {
const video = document.querySelector("video");
video.srcObject = localMediaStream;
})
.catch((error) => {
console.log("Rejected!", error);
});
</script>
好的。究竟是怎麼回事?媒體擷取是新 HTML5 API 搭配運作的完美範例。它會與其他 HTML5 夥伴 <audio> 和 <video> 搭配運作。請注意,我們並未設定 src 屬性,也未在 <video> 元素中加入 <source> 元素。我們不將媒體檔案的網址提供給影片,而是將 srcObject 設為代表網路攝影機的 LocalMediaStream 物件。
我也會指示 <video> autoplay,否則會凍結在第一個影格。新增 controls 也能正常運作。
設定媒體限制 (解析度、高度、寬度)
getUserMedia() 的第一個參數也可用於指定傳回媒體串流的更多需求 (或限制)。舉例來說,除了指出您需要基本的影片存取權 (例如 {video: true}) 之外,還可以額外要求串流必須是 HD:
const hdConstraints = {
video: { width: { exact: 1280} , height: { exact: 720 } },
};
const stream = await navigator.mediaDevices.getUserMedia(hdConstraints);
const vgaConstraints = {
video: { width: { exact: 640} , height: { exact: 360 } },
};
const stream = await navigator.mediaDevices.getUserMedia(hdConstraints);
如需更多設定,請參閱 constraints API。
選取媒體來源
MediaDevices 介面的 enumerateDevices() 方法會要求可用的媒體輸入和輸出裝置清單,例如麥克風、相機、耳機等。傳回的 Promise 會透過描述裝置的 MediaDeviceInfo 物件陣列解析。
在這個範例中,系統會選取最後找到的麥克風和攝影機做為媒體串流來源:
if (!navigator.mediaDevices?.enumerateDevices) {
console.log("enumerateDevices() not supported.");
} else {
// List cameras and microphones.
navigator.mediaDevices
.enumerateDevices()
.then((devices) => {
let audioSource = null;
let videoSource = null;
devices.forEach((device) => {
if (device.kind === "audioinput") {
audioSource = device.deviceId;
} else if (device.kind === "videoinput") {
videoSource = device.deviceId;
}
});
sourceSelected(audioSource, videoSource);
})
.catch((err) => {
console.error(`${err.name}: ${err.message}`);
});
}
async function sourceSelected(audioSource, videoSource) {
const constraints = {
audio: { deviceId: audioSource },
video: { deviceId: videoSource },
};
const stream = await navigator.mediaDevices.getUserMedia(constraints);
}
請參閱 Sam Dutton 的精彩示範,瞭解如何讓使用者選取媒體來源。
安全性
瀏覽器會在呼叫 navigator.mediaDevices.getUserMedia() 時顯示權限對話方塊,讓使用者選擇是否授予相機/麥克風存取權。舉例來說,以下是 Chrome 的權限對話方塊:
提供備用廣告
如果使用者不支援 navigator.mediaDevices.getUserMedia(),則可選擇在不支援 API 和/或呼叫因故失敗時,改用現有的影片檔案:
if (!navigator.mediaDevices?.getUserMedia) {
video.src = "fallbackvideo.webm";
} else {
const stream = await navigator.mediaDevices.getUserMedia({ video: true });
video.srcObject = stream;
}