1.3.6.5: Ähnlichkeitsfunktionen

Beim Skalarprodukt hängen die Ähnlichkeitswerte stark von Anzahl und Größe der Einträge im Vektor ab, die ungleich 0 sind - also von der Anzahl der Terme in der Anfrage oder im Dokument. Der Maximalwert, den das Skalarprodukt zwischen einem Anfragevektor und den Dokumentvektoren einer Dokumentmenge annehmen kann, ist zunächst nur dadurch begrenzt, dass die beteiligten Vektoren nur endlich viele endliche Einträge haben.

Längere Dokumente haben statistisch gesehen daher größere Chancen, hohe Ähnlichkeitswerte zu bekommen, als kurze. Wählt man z.B. als lokale Gewichtung die Häufigkeit der Terme im Dokument, würde sich mit dem Skalarprodukt (aufgrund seiner Linearität) die Ähnlichkeit verdoppeln, wenn man den Text eines Dokuments wiederholen, also zweimal hintereinander schreiben würde, obwohl sich das im Dokument enthaltene Wissen ja nicht ändert. Andererseits ist z.B. bei Literaturdatenbanken das Format des Nachweises vorgegeben und damit auch die Länge des Abstracts eher durch äußere Restriktionen als durch die Wichtigkeit des Artikels bestimmt. Einflüsse dieser Restriktionen würden beim Skalarprodukt direkt auf die Ähnlichkeitswerte und damit auf die Retrieval-Ergebnisse durchschlagen. Aufgrund solcher Überlegungen sind viele verschiedene Ähnlichkeitsmaße entwickelt und theoretisch, experimentell und empirisch untersucht worden.

Um die Eigenschaften unterschiedlicher Ähnlichkeitsmaße theoretisch zu vergleichen, kann man sich überlegen, wie die Vektoren verteilt sind, die zu einem gegebenen Vektor w_i die gleiche Ähnlichkeit haben. Jones und Furnas (1987) [->] haben das für einige Ähnlichkeitsmaße untersucht und für den zweidimensionalen Fall dargestellt. Einige Ergebnisse dieser Untersuchung werden im Folgenden beschrieben. Diese geometrische Interpretation von Ähnlichkeitsmaßen ist natürlich nur eine Sichtweise: Sie veranschaulicht die Eigenschaften im euklidischen Raum, also in der uns vertrauten Geometrie der Ebene oder des Raums. Beobachtungen, die dabei gemacht werden, können Hinweise auf Eigenschaften der Ähnlichkeitsmaße geben; sie können aber die empirische Evaluierung der Maße nicht ersetzen. Eine Untersuchung, die das Verhalten eines Maßes bei unterschiedlich langen Dokumenten bewertet, wird in Abschnitt 3.4.2 vorgestellt.

1.3.6.5.1: Das Skalarprodukt

1.3.6.5.2: Das Cosinus-Maß

1.3.6.5.3: Das Pseudo-Cosinus-Maß

1.3.6.5.4: Das Dice-Maß

1.3.6.5.5: Das Overlap-Maß

1.3.6.5.6: Das Jaccard-Maß

Bei der Betrachtung der Orte mit den höchsten Ähnlichkeitswerten muss beachtet werden, dass natürlich nur die vorhandenen Dokumente mit einer Anfrage verglichen werden. Ist die Teilmenge des Rⁿ , in dem die Dokumentvektoren tatsächlich liegen, geeignet gewählt (bzw. wird sie von den Dokumentvektoren geeignet erzeugt), können auch diese Maße durchaus sinnvoll sein. Letztendlich müssen empirische Untersuchungen entscheiden, ob ein Maß für eine gegebene Sammlung und ein gegebenes Retrieval-System gute Ergebnisse liefert.