4.5: TREC: Passagenretrieval, Pseudo-Relevance-Feedback und verbesserte Ähnlichkeitsmaße

In diesem Abschnitt werden einige Systeme vorgestellt, die in den TREC Experimenten 3 und 4 gut abgeschnitten haben. Damit sollen neue Entwicklungen vorgestellt und gezeigt werden, welche Methoden sich in diesen Grossexperimenten bewährt und durchgesetzt haben.

Im Abschnitt _3.4.4_ hatten wir Relevance Feedback als eine Methode kennengelernt, mit der ein Anfragevektor in einem interaktiven Prozess dadurch verbessert werden kann, dass die Dokumentvektoren von solchen Dokumenten addiert werden, die von den Nutzenden als relevant eingeschätzt wurden. In neuerer Zeit wird ein ganz ähnliches Verfahren auch bei einmaligen nicht interaktiven Suchen eingesetzt. Voraussetzung dafür ist ein Vektorraumsystem, dass (wie die meisten dieser Systeme) eine Rangfolge von Ergebnisvektoren ausgibt. Die Grundannahme dabei ist, dass die Wahrscheinlichkeit, dass Dokumente mit sehr guten Rangplätzen relevant sind, groß ist. Deshalb verwendet man die Dokumentvektoren dieser Dokumente um den Anfragevektor zu verändern. Betrachtet man diese Annahme genauer, sieht man, dass das Verfahren eine Verbesserung oder zumindest keine wesentlichen Verschlechterung der Ergebnisse verspricht, wenn zwei Bedingungen erfüllt sind: Wenn es viele relevante Dokumente gibt und wenn das zugrundeliegende System einigermaßen gut ist. Ist eine der beiden Bedingungen nicht erfüllt, steigt die Wahrscheinlichkeit, dass sich an der Spitze der Rangfolge nicht relevante Dokumente befinden und damit der Anfragevektor verfälscht wird.

4.5.1: Die TREC 3 Ergebnisse von SMART

TREC 4 unterschied sich von TREC 3 von Seiten der Daten vor allem dadurch, dass die Topics - also die Anfragen oder Queries - wesentlich kürzer waren. Bei den teilnehmenden Systemen wurde vor allem an den Ähnlichkeitsmaßen gearbeitet. Die Verwendung von Textteilen zum Relevance Feedback, die in TREC 3 nicht nur SMART sonder auch viele andere Systeme angewendet hatten, wurde verfeinert und den kürzeren Topics angepasst.

4.5.2: Die TREC 4 Ergebnisse von SMART

4.5.3: Ein Spreading Activation Modell

4.5.4: INQUERY in TREC 4

4.5.5: Das Okapi System

4.5.6: Schwerpunkte von TREC 5