Titelblatt des Buchs
Reginald Ferber Information Retrieval
Suchmodelle und Data-Mining-Verfahren für Textsammlungen und das Web

Position im Angebot Information Retrieval -> Grundlagen und klassische IR-Methoden -> Klassische Information-Retrieval-Verfahren -> Bewertung und Vergleich von IR-Systemen
Stichwörter dieser Seite Makrobewertung, nutzungsorientiert, user-oriented, Mikrobewertung, systemorientiert, system oriented, Durchschnitt, mittlere Precision, Break-Even Point
Navigation Zurück ]    [ Inhalt ]    [ Stichwörter ]    [ Feedback ]    [ Home ]

1.3.7.4: Mittelwertbildungen

Um aussagekräftige Ergebnisse zu bekommen, müssen die Precision- und Recall-Werte über mehrere (repräsentative) Anfragen q1,...,qk gemittelt werden. Dabei gibt es zwei unterschiedliche Möglichkeiten, den Mittelwert zu berechnen: Die Makrobewertung (auch nutzungsorientiert oder user-oriented genannt) bildet das arithmetische Mittel über die Precision- und Recall-Werte:
Pu (D) :=
1
Leere Abbildung mit der der Bruchstrich erzeugt wird
N
N
Mathematisches Zeichen: Summe
i=1
 | DqiMathematisches Zeichen: Durchschnittrqi-1 ({1} ) | 
Leere Abbildung mit der der Bruchstrich erzeugt wird
 | Dqi | 
Ru (D) :=
1
Leere Abbildung mit der der Bruchstrich erzeugt wird
N
N
Mathematisches Zeichen: Summe
i=1
 | DqiMathematisches Zeichen: Durchschnittrqi -1({1} ) | 
Leere Abbildung mit der der Bruchstrich erzeugt wird
 | rq i-1({1} ) | 
Dabei wird die Größe der beteiligten Antwortmengen nicht berücksichtigt. Ob ein Wert aufgrund von wenigen oder vielen relevanten Dokumenten zustande gekommen ist, spielt keine Rolle. Die Berechnungsmethode wird nutzungsorientiert genannt, weil jede Anfrage gleich in die Bewertung eingeht.

Die Mikrobewertung (auch systemorientiert oder system oriented genannt) setzt die Summen der Dokumentanzahlen in die Formeln für Recall und Precision ein:
Ps (D) :=
N
Mathematisches Zeichen: Summe
i=1
 | DqiMathematisches Zeichen: Durchschnittrqi-1({1}) | 
Leere Abbildung mit der der Bruchstrich erzeugt wird
N
Mathematisches Zeichen: Summe
i=1
 | Dqi | 
Rs (D) :=
N
Mathematisches Zeichen: Summe
i=1
 | DqiMathematisches Zeichen: Durchschnittrqi-1({1}) | 
Leere Abbildung mit der der Bruchstrich erzeugt wird
N
Mathematisches Zeichen: Summe
i=1
 | rqi-1({1}) | 
Hier wird der Mittelwert gemäß der Anzahl der beteiligten Dokumente berechnet. Anfragen mit wenigen relevanten Dokumenten spielen eine kleinere Rolle als solche mit vielen relevanten Dokumenten. Der Ansatz wird systemorientiert genannt, weil die relevanten Dokumente die Basis der Bewertung bilden.

Salton und McGill (1983) [->] geben ein nettes Beispiel für die beiden Methoden der Mittelwertbildung: Für 10 Veranstaltungen, von denen 5 mit je 99 Studierenden stattfinden und 5 mit je nur einer Person, ergeben sich die folgenden Durchschnittsgrößen:

  • nach der Makrobewertung ("class-level")
    5·1+5·99
    Leere Abbildung mit der der Bruchstrich erzeugt wird
    10
    =50
  • nach der Mikrobewertung ("student-level")
    5·99·99+5·1·1
    Leere Abbildung mit der der Bruchstrich erzeugt wird
    5·99+5·1
    =98,02
Während pro Veranstaltung im Mittel 50 Studierende teilnehmen, sitzt eine einzelne Person im Durchschnitt mit 97,02 anderen in der Veranstaltung.

Auch mit Precision-Recall-Diagrammen können verschiedene Systeme oder Systemläufe nicht immer eindeutig verglichen werden. Nur wenn die Precision eines Systems für alle Recall-Werte besser ist als die eines anderen, kann man sagen, dass dieses System besser ist als das andere. Ist für einen Recall-Wert die Precision des einen Systems höher und für einen anderen die des anderen, ist eine generelle Aussage, welches System besser ist, nicht möglich.

Um Systeme in jedem Fall vergleichen bzw. in eine Rangfolge bringen zu können, verwendet man häufig die mittlere Precision. Sie wird als Mittelwert der Precision-Werte an einer fest vorgegebenen Menge von Recall-Werten, z.B. den Recall-Werten {0,1, 0,2, 0,3,  ... 0,9} oder {0,75, 0,5, 0,25} , berechnet. Dadurch erhält man eine reelle Zahl, nach der verschiedene Systeme in eine Rangfolge gebracht werden können. Da sich die tatsächlichen Recall-Werte in einem Precision-Recall-Diagramm aus der Anzahl der relevanten Dokumente ergeben, müssen die Precision-Werte für die gewählten Recall-Werte gegebenenfalls interpoliert werden; oder es wird der Precision-Wert verwendet, bei dem der gesuchte Recall erstmals überschritten wird.

Ein anderes eindimensionales Maß ist der so genannte Break-Even Point: Das ist der Wert, an dem Precision und Recall gleich sind. Auch dieser Wert muss gegebenenfalls durch Interpolation ermittelt werden. In ungünstigen Fällen ist er nicht eindeutig bestimmt. Weitere Vergleichsmaße sind in Voorhees und Harman (1999) [->] beschrieben.

Navigation Zurück ]    [ Inhalt ]    [ Stichwörter ]    [ Feedback ]    [ Home ]
Position im Angebot Information Retrieval -> Grundlagen und klassische IR-Methoden -> Klassische Information-Retrieval-Verfahren -> Bewertung und Vergleich von IR-Systemen
Dieser Abschnitt und seine Unterabschnitte
Inhalt Stichwörter in der Reihenfolge ihres AuftretensStichwörter alphabetisch sortiert
1.3.7.4Mittelwertbildungen
Makrobewertung, nutzungsorientiert, user-oriented, Mikrobewertung, systemorientiert, system oriented, Durchschnitt, mittlere Precision, Break-Even Point Break-Even Point, Durchschnitt, Makrobewertung, Mikrobewertung, mittlere Precision, nutzungsorientiert, system oriented, systemorientiert, user-oriented

Diese Seiten sind urheberrechtlich geschützt. Die Verantwortung für die Inhalte und die Rechte der Online-Version liegen beim Autor Reginald Ferber, Münster (Westf). Die Rechte der gedruckten Version beim dpunkt.verlag, Heidelberg. Die Weiterverwendung von Texten oder Abbildungen - auch auszugsweise - ist ohne die schriftliche Zustimmung des Autors Reginald Ferber bzw. des dpunkt.verlags nicht gestattet.

Es wird darauf hingewiesen, dass die verwendeten Soft- und Hardware-Bezeichnungen sowie Markennamen und Produktbezeichnungen der jeweiligen Firmen im Allgemeinen warenzeichen-, marken-, oder patentrechtlichem Schutz unterliegen. Alle Angaben und Programme wurden mit großer Sorgfalt kontrolliert. Trotzdem kann keinerlei Haftung für Schäden irgendwelcher Art übernommen werden, die sich im Zusammenhang mit der Nutzung dieser Seiten ergeben.

Diese HTML-Datei wurde am 17-11-2003 erzeugt.