4.3.4: Web-Suchmaschinen

Web-Suchmaschinen indexieren Web-Seiten automatisch, also ohne dass diese von Menschen gesehen oder begutachtet werden, und können daher viele Seiten anbieten. Die meisten Suchmaschinen sind Realisierungen des Vektorraummodells. Sie bauen Dokumentvektoren für die Dokumente auf, die sie im Web finden, und legen sie in gigantischen Indexstrukturen ab. Anfragen werden in der Regel dadurch beantwortet, dass die Adressen der Dokumente und kleine Auszüge wie Titel und Textanfang, die häufig mit den Adressen gespeichert werden, in einer Rangfolge zurückgeliefert werden. Um das für eine große Suchmaschine zu leisten, müssen sehr leistungsfähige Rechner und sehr effektive Methoden verwendet werden. Auf diese Optimierung wird hier nicht eingegangen.

Bei der Auswahl der zu indexierenden Seiten müssen Web-Suchmaschinen verschiedene Aspekte berücksichtigen. Um für Nutzende attraktiv zu sein, sollten sie möglichst vollständig und aktuell, aber auch vertrauenswürdig sein. Das heißt, sie sollten möglichst viele Seiten des Web oder des speziellen Themenbereichs, den sie bedienen wollen, möglichst schnell nach deren Entstehen oder nach Änderungen indexieren und dabei den Eindruck erwecken, dass Auswahl und gegebenenfalls eine Rangordnung fair, objektiv und nach "guten" Kriterien und Verfahren geschieht. Sie sollten also Seiten liefern, die wegen ihres Inhalts, ihrer Sprache und ihrer Erreichbarkeit gut zum Informationsbedarf der Nutzenden passen.

Um aktuell zu sein, ist es sinnvoll, Angebote von ihren Anbietern anmelden zu lassen. Dabei besteht aber die Gefahr, dass vor allem Seiten von Anbietern berücksichtigt werden, die sich besonders darum kümmern, ihre Seiten anzumelden. Die Grenzen zwischen legitimer Anmeldung der eigenen Seiten und Spamming sind dabei fließend. Dadurch kann die Auswahl der Seiten, die in einer Web-Suchmaschine erfasst sind, beeinflusst werden und die "Objektivität" der Ergebnismengen leiden. Das gilt insbesondere dann, wenn nicht nur die Web-Adressen, sondern zusätzlich auch Bewertungen bei der Anmeldung abgegeben werden können. Viele Suchmaschinenanbieter wollen sich deshalb nicht auf die Angaben der Web-Anbieter verlassen oder sich von diesen abhängig machen. Teilweise bewerten Suchmaschinen sogar Seiten, die über Anmeldedienste (also Programme, die eine Seite automatisch bei möglichst vielen Suchmaschinen anmelden) angemeldet werden, schlechter oder nehmen sie erst gar nicht in die Sammlung auf, wenn die Anmeldung über den Dienst erkennbar ist.

4.3.4.1: Web-Roboter, Crawler oder Spider

4.3.4.2: Ranking-Strategien

4.3.4.3: Ranking nach externen Daten

4.3.4.4: Metasuchdienste