|
|
|
|
Zur Bestimmung der relevanten Dokumente verwendet TREC ein Poolingverfahren: Zunächst werden zu jeder Aufgabe eine Grundmenge von Dokumenten gebildet, indem aus jeder Ergebnisliste zu der Aufgabe eine feste Anzahl (100 bei TREC) der bestplazierten Dokumente ausgewählt wird. Die Dokumente aus dieser Grundmenge werden dann von einem Experten oder einer Expertin auf ihre Relevanz für den Topic beurteilt. Dieses Verfahren wurde gewählt, um den Aufwand bei der Relevanzbeurteilung durch Personen in Grenzen zu halten.
Für die Relevanzurteile aus TREC-2 wurde die Poolingmethode an 36 Topics überprüft, je zur Hälfte adhoc und routing Aufgaben. Dazu wurden aus sieben "guten" Ergebnislisten die ersten 200 Dokumente in die Grundmenge übernommen und ihre Relevanz neu bewertet. Es zeigt sich, dass dabei im Mittel 16% neue relevante Dokumente gefunden wurden (siehe Abbildung 35 ).
Abb. 35: Überprüfung der Relevanzbeurteilung bei TREC-2 nach Harman (1995)Bei TREC-3 wurden zwei Auswertungen durchgeführt. Einmal wurden die 100 besten Dokumente jeder Ergebnisliste in die Grundmenge übernommen, beim anderen Mal wurden die 200 besten gewählt. Von den im Mittel 1946 Dokumenten der größeren Grundmenge wurden durchschnittlich 196, also ca 10% als relevant eingeschätzt. Bei den durchschnittlich 1005 Dokumenten der kleineren Grundmenge betrug diese Zahl 146, also ca. 15%. D. h. in den "zweiten" hundert Dokumenten der Ergebnislisten ist die Anzal der relevanten Dokumente noch ca. ein drittel der Zahl aus den "ersten" Hundert. Andererseits liegt die Anzahl gefundener relevanter Dokumente in allen Fällen über 100, bei TREC-2 sogar über 200, sodass das Poolingverfahren immer unzureichender wird, je "besser" die Systeme werden: Würden alle Systeme die gleiche Ergebnisliste liefern, könnte die Grundmenge maximal 100 Dokumente enhalten. Es würden also weniger Dokumente als relevant eingeschätzt werden können. Hier liegt ein Problem des Verfahrens: Es misst zu einem guten Teil die Ähnlichkeit der Ergebnislisten und nicht unbedingt deren Richtigkeit. Weitere Daten zu diesem Verfahren sind in der Tabelle 36 angegeben.
Abb. 36: Größe der Grundmenge der auf
Relevanz beurteilten Dokumente nach Harman (1995 - WWW, 1996 - WWW) |
|
|
|