הקלטת אודיו מהמשתמש

בדפדפנים רבים יש עכשיו אפשרות לגשת לקלט של וידאו ואודיו מהמשתמש. עם זאת, בהתאם לדפדפן, יכול להיות שזו תהיה חוויה דינמית מלאה ומוטמעת, או שהיא תועבר לאפליקציה אחרת במכשיר של המשתמש.

מתחילים בקטן ומתקדמים בהדרגה

הדרך הכי פשוטה היא לבקש מהמשתמש קובץ שהוקלט מראש. כדי לעשות את זה, יוצרים רכיב פשוט של קלט קובץ ומוסיפים מסנן accept שמציין שאנחנו יכולים לקבל רק קובצי אודיו, ומאפיין capture שמציין שאנחנו רוצים לקבל אותו ישירות מהמיקרופון.

<input type="file" accept="audio/*" capture />

השיטה הזו פועלת בכל הפלטפורמות. במחשב, המשתמש יתבקש להעלות קובץ ממערכת הקבצים (תוך התעלמות מהמאפיין capture). ב-Safari ב-iOS, האפליקציה של המיקרופון תיפתח, ותאפשר לכם להקליט אודיו ואז לשלוח אותו בחזרה לדף האינטרנט. ב-Android, המשתמש יוכל לבחור באיזו אפליקציה להשתמש כדי להקליט את האודיו לפני השליחה שלו בחזרה לדף האינטרנט.

אחרי שהמשתמש מסיים להקליט וחוזר לאתר, צריך להשיג את נתוני הקובץ. כדי לקבל גישה מהירה, אפשר לצרף אירוע onchange לרכיב הקלט ואז לקרוא את המאפיין files של אובייקט האירוע.

<input type="file" accept="audio/*" capture id="recorder" />
<audio id="player" controls></audio>
  <script>
    const recorder = document.getElementById('recorder');
    const player = document.getElementById('player');

    recorder.addEventListener('change', function (e) {
      const file = e.target.files[0];
      const url = URL.createObjectURL(file);
      // Do something with the audio file.
      player.src = url;
    });
  </script>
</audio>

אחרי שתקבלו גישה לקובץ, תוכלו לעשות איתו מה שתרצו. לדוגמה, אתם יכולים:

  • מצרפים אותו ישירות לרכיב <audio> כדי להפעיל אותו
  • להוריד אותו למכשיר של המשתמש
  • מעלים אותו לשרת על ידי צירוף שלו אל XMLHttpRequest
  • להעביר אותו דרך Web Audio API ולהחיל עליו מסננים

השיטה של שימוש ברכיב קלט כדי לקבל גישה לנתוני אודיו היא נפוצה מאוד, אבל היא האפשרות הכי פחות מושכת. אנחנו רוצים לקבל גישה למיקרופון ולספק חוויה טובה ישירות בדף.

גישה למיקרופון באופן אינטראקטיבי

דפדפנים מודרניים יכולים להתחבר ישירות למיקרופון, וכך אנחנו יכולים ליצור חוויות שמשולבות באופן מלא בדף האינטרנט, והמשתמש לא צריך לצאת מהדפדפן.

קבלת גישה למיקרופון

אנחנו יכולים לגשת ישירות למיקרופון באמצעות API במפרט של WebRTC שנקרא getUserMedia(). ‫getUserMedia() יבקש מהמשתמש גישה למיקרופונים ולמצלמות שמחוברים למכשיר.

אם הפעולה תצליח, ה-API יחזיר Stream שיכיל את הנתונים מהמצלמה או מהמיקרופון, ואז נוכל לצרף אותו לאלמנט <audio>, לצרף אותו לסטרימינג של WebRTC, לצרף אותו ל-AudioContext של Web Audio או לשמור אותו באמצעות ה-API של MediaRecorder.

כדי לקבל נתונים מהמיקרופון, פשוט מגדירים את audio: true באובייקט האילוצים שמועבר ל-API של getUserMedia().

<audio id="player" controls></audio>
<script>
  const player = document.getElementById('player');

  const handleSuccess = function (stream) {
    if (window.URL) {
      player.srcObject = stream;
    } else {
      player.src = stream;
    }
  };

  navigator.mediaDevices
    .getUserMedia({audio: true, video: false})
    .then(handleSuccess);
</script>

אם אתם רוצים לבחור מיקרופון מסוים, אתם יכולים קודם למנות את המיקרופונים הזמינים.

navigator.mediaDevices.enumerateDevices().then((devices) => {
  devices = devices.filter((d) => d.kind === 'audioinput');
});

לאחר מכן, אפשר להעביר את ה-deviceId שבו רוצים להשתמש כשמפעילים את getUserMedia.

navigator.mediaDevices.getUserMedia({
  audio: {
    deviceId: devices[0].deviceId,
  },
});

המידע הזה לא כל כך שימושי בפני עצמו. כל מה שאנחנו יכולים לעשות זה לקחת את נתוני האודיו ולהשמיע אותם.

גישה לנתונים הגולמיים מהמיקרופון

כדי לגשת לנתונים הגולמיים מהמיקרופון, צריך לקחת את הסטרימינג שנוצר על ידי getUserMedia() ואז להשתמש ב-Web Audio API כדי לעבד את הנתונים. ‫Web Audio API הוא ממשק API פשוט שמקבל מקורות קלט ומחבר אותם לצמתים שיכולים לעבד את נתוני האודיו (לכוונן את ההגברה וכו'), ובסופו של דבר לרמקול כדי שהמשתמש יוכל לשמוע אותו.

אחד מהצמתים שאפשר לחבר הוא AudioWorkletNode. הצומת הזה נותן לכם יכולת ברמה נמוכה לעיבוד אודיו בהתאמה אישית. עיבוד האודיו בפועל מתבצע בשיטת הקריאה החוזרת (callback) process() ב-AudioWorkletProcessor. קוראים לפונקציה הזו כדי להזין קלט ופרמטרים ולקבל פלט.

למידע נוסף, קראו את המאמר Enter Audio Worklet.

<script>
  const handleSuccess = async function(stream) {
    const context = new AudioContext();
    const source = context.createMediaStreamSource(stream);

    await context.audioWorklet.addModule("processor.js");
    const worklet = new AudioWorkletNode(context, "worklet-processor");

    source.connect(worklet);
    worklet.connect(context.destination);
  };

  navigator.mediaDevices.getUserMedia({ audio: true, video: false })
      .then(handleSuccess);
</script>
// processor.js
class WorkletProcessor extends AudioWorkletProcessor {
  process(inputs, outputs, parameters) {
    // Do something with the data, e.g. convert it to WAV
    console.log(inputs);
    return true;
  }
}

registerProcessor("worklet-processor", WorkletProcessor);

הנתונים שמוחזקים במאגרים הם הנתונים הגולמיים מהמיקרופון, ויש כמה אפשרויות למה שאפשר לעשות עם הנתונים האלה:

  • להעלות אותו ישירות לשרת
  • אחסון מקומי
  • להמיר אותו לפורמט קובץ ייעודי, כמו WAV, ואז לשמור אותו בשרתים או באופן מקומי.

שמירת הנתונים מהמיקרופון

הדרך הכי קלה לשמור את הנתונים מהמיקרופון היא להשתמש ב-API של MediaRecorder.

‫MediaRecorder API יקבל את הסטרימינג שנוצר על ידי getUserMedia ואז ישמור בהדרגה את הנתונים שבסטרימינג ביעד המועדף.

<a id="download">Download</a>
<button id="stop">Stop</button>
<script>
  const downloadLink = document.getElementById('download');
  const stopButton = document.getElementById('stop');


  const handleSuccess = function(stream) {
    const options = {mimeType: 'audio/webm'};
    const recordedChunks = [];
    const mediaRecorder = new MediaRecorder(stream, options);

    mediaRecorder.addEventListener('dataavailable', function(e) {
      if (e.data.size > 0) recordedChunks.push(e.data);
    });

    mediaRecorder.addEventListener('stop', function() {
      downloadLink.href = URL.createObjectURL(new Blob(recordedChunks));
      downloadLink.download = 'acetest.wav';
    });

    stopButton.addEventListener('click', function() {
      mediaRecorder.stop();
    });

    mediaRecorder.start();
  };

  navigator.mediaDevices.getUserMedia({ audio: true, video: false })
      .then(handleSuccess);
</script>

במקרה שלנו, אנחנו שומרים את הנתונים ישירות במערך שאפשר להפוך בהמשך ל-Blob, ואז להשתמש בו כדי לשמור את הנתונים בשרת האינטרנט שלנו או ישירות באחסון במכשיר של המשתמש.

לבקש רשות להשתמש במיקרופון בצורה אחראית

אם המשתמש לא נתן לאתר שלכם גישה למיקרופון בעבר, ברגע שתפעילו את getUserMedia, הדפדפן יבקש מהמשתמש לתת לאתר שלכם הרשאה למיקרופון.

משתמשים לא אוהבים שמוצגות להם בקשות גישה למכשירים חזקים במחשב שלהם, ולעיתים קרובות הם חוסמים את הבקשה או מתעלמים ממנה אם הם לא מבינים את ההקשר שבו הבקשה נוצרה. השיטה המומלצת היא לבקש גישה למיקרופון רק כשצריך אותו בפעם הראשונה. אחרי שהמשתמש נותן גישה, הוא לא יתבקש לעשות זאת שוב. אבל אם הוא דוחה את הגישה, אי אפשר לבקש ממנו הרשאה שוב.

משתמשים ב-API של ההרשאות כדי לבדוק אם כבר יש לכם גישה

ממשק ה-API של getUserMedia לא מספק מידע על כך שכבר יש לכם גישה למיקרופון. כאן יש בעיה: כדי להציג ממשק משתמש נחמד שבו המשתמשים יכולים לתת לכם גישה למיקרופון, אתם צריכים לבקש גישה למיקרופון.

בדפדפנים מסוימים אפשר לפתור את הבעיה הזו באמצעות Permission API. ‫navigator.permission API מאפשר לשלוח שאילתות לגבי מצב היכולת לגשת לממשקי API ספציפיים בלי להציג שוב בקשה.

כדי לבדוק אם יש לכם גישה למיקרופון של המשתמש, אתם יכולים להעביר את {name: 'microphone'} לשיטת השאילתה, והיא תחזיר:

  • granted — המשתמש נתן לכם בעבר גישה למיקרופון.
  • ‫prompt – המשתמש לא נתן לכם גישה, ותופיע לו בקשה כשתתקשרו אל getUserMedia.
  • ‫denied – המערכת או המשתמש חסמו באופן מפורש את הגישה למיקרופון, ולא תוכלו לקבל גישה אליו.

עכשיו אתם יכולים לבדוק במהירות אם צריך לשנות את ממשק המשתמש כדי להתאים אותו לפעולות שהמשתמש צריך לבצע.

navigator.permissions.query({name: 'microphone'}).then(function (result) {
  if (result.state == 'granted') {
  } else if (result.state == 'prompt') {
  } else if (result.state == 'denied') {
  }
  result.onchange = function () {};
});

משוב