Was macht eine Suchmaschine?
Suchmaschinen sind die digitale Version eines Bibliothekars. Sie verwenden einen umfassenden Index, um die richtigen Informationen für eine Abfrage zu finden. Wenn Sie die Grundlagen der Suche verstehen, können Sie Ihre Inhalte für Nutzer auffindbar machen.
Wie Crawler das Web durchsuchen
Crawling ist wie das Lesen aller Bücher in der Bibliothek. Bevor Suchmaschinen Suchergebnisse liefern können, müssen sie so viele Informationen wie möglich aus dem Web erhalten. Dazu verwenden Suchmaschinen einen Crawler – ein Programm, das von Website zu Website wechselt und wie ein Browser agiert.
Wenn ein Buch oder Dokument fehlt oder beschädigt ist, kann der Crawler es nicht lesen. Crawler versuchen, jede URL abzurufen, um den Status des Dokuments zu ermitteln. Wenn ein Dokument einen Fehlerstatuscode zurückgibt, können Crawler keine Inhalte verwenden und versuchen möglicherweise, die URL zu einem späteren Zeitpunkt noch einmal aufzurufen. So wird sichergestellt, dass nur öffentlich zugängliche Dokumente in den Index aufgenommen werden.
Wenn Crawler einen Weiterleitungsstatuscode wie 301 oder 302 finden, folgen sie der Weiterleitung zu einer neuen URL und fahren dort fort. Wenn sie eine erfolgreiche Antwort erhalten, also ein für Nutzer zugängliches Dokument gefunden haben, prüfen sie, ob es gecrawlt werden darf, und laden dann den Inhalt herunter.
Diese Prüfung umfasst den HTML-Code und alle im HTML-Code erwähnten Inhalte wie Bilder, Videos oder JavaScript. Crawler extrahieren auch die Links aus HTML-Dokumenten, damit sie die verlinkten URLs ebenfalls besuchen können. Durch das Folgen von Links finden Crawler neue Seiten im Web.
Crawler klicken nicht aktiv auf Links oder Schaltflächen, sondern senden URLs an eine Warteschlange, um sie später zu crawlen. Beim Zugriff auf eine neue URL sind keine Cookies, Service Worker oder lokalen Speicher (wie IndexedDB) verfügbar.
Index erstellen
Nachdem der Crawler ein Dokument abgerufen hat, übergibt er den Inhalt an die Suchmaschine, damit diese ihn dem Index hinzufügt. Die Suchmaschine rendert und analysiert nun den Inhalt, um ihn zu verstehen. Rendern bedeutet, dass die Seite wie in einem Browser angezeigt wird (mit einigen Einschränkungen).
Suchmaschinen berücksichtigen Keywords, den Titel, Links, Überschriften, Text und viele andere Dinge. Diese werden als Signale bezeichnet und beschreiben den Inhalt und Kontext der Seite. Signale ermöglichen es Suchmaschinen, jede Suchanfrage mit der bestmöglichen Seite zu beantworten.
Suchmaschinen finden dieselben Inhalte möglicherweise unter verschiedenen URLs. Ein Rezept für „Apfelkuchen“ könnte beispielsweise unter /recipes/apple-pie und unter /recipes/1234 zu finden sein. Um zu vermeiden, dass das Rezept zweimal indexiert und angezeigt wird, bestimmen Suchmaschinen, welche URL die Haupt-URL sein soll, und verwerfen die alternativen URLs, die denselben Inhalt zeigen.
Die nützlichsten Ergebnisse bereitstellen
Suchmaschinen tun mehr, als nur die Anfrage mit Keywords im Index abzugleichen. Um nützliche Ergebnisse zu liefern, können sie den Kontext, alternative Formulierungen, den Standort des Nutzers und mehr berücksichtigen. „Silicon Valley“ kann sich beispielsweise auf die geografische Region oder die Fernsehserie beziehen. Wenn die Abfrage jedoch „Silicon Valley Cast“ lautet, sind Ergebnisse zur Region nicht sehr hilfreich.
Einige Suchanfragen können indirekt sein, z. B. „der Song aus Pulp Fiction“. Suchmaschinen müssen das interpretieren und Ergebnisse für die Musik im Film anzeigen. Wenn ein Nutzer nach etwas sucht, ermitteln Suchmaschinen die nützlichsten Ergebnisse und zeigen sie dem Nutzer an. Das Ranking oder die Reihenfolge der Seiten basiert auf der Suchanfrage. Die Reihenfolge kann sich im Laufe der Zeit ändern, wenn bessere Informationen verfügbar werden.
Nächste Schritte: Suchmaschinenoptimierung
Nachdem Sie nun die Grundlagen der Funktionsweise von Suchmaschinen kennen, sehen Sie vielleicht den Wert der Suchmaschinenoptimierung. Das wird als SEO oder „Suchmaschinenoptimierung“ bezeichnet. Wenn ihr dafür sorgt, dass Suchmaschinen eure Inhalte finden und automatisch verstehen können, verbessert ihr die Sichtbarkeit eurer Website für relevante Suchanfragen. Dies kann dazu führen, dass mehr interessierte Nutzer deine Website besuchen. Prüft eure Website mit Lighthouse und seht euch die SEO-Ergebnisse an, um herauszufinden, wie gut Suchmaschinen Nutzer auf eure Inhalte aufmerksam machen können.