| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1.3.7.4: MittelwertbildungenUm aussagekräftige Ergebnisse zu bekommen, müssen die Precision- und Recall-Werte über mehrere (repräsentative) Anfragen q1,...,qk gemittelt werden. Dabei gibt es zwei unterschiedliche Möglichkeiten, den Mittelwert zu berechnen: Die Makrobewertung (auch nutzungsorientiert oder user-oriented genannt) bildet das arithmetische Mittel über die Precision- und Recall-Werte:
Die Mikrobewertung (auch systemorientiert oder system oriented genannt) setzt die Summen der Dokumentanzahlen in die Formeln für Recall und Precision ein:
Salton und McGill (1983) [->] geben ein nettes Beispiel für die beiden Methoden der Mittelwertbildung: Für 10 Veranstaltungen, von denen 5 mit je 99 Studierenden stattfinden und 5 mit je nur einer Person, ergeben sich die folgenden Durchschnittsgrößen:
Auch mit Precision-Recall-Diagrammen können verschiedene Systeme oder Systemläufe nicht immer eindeutig verglichen werden. Nur wenn die Precision eines Systems für alle Recall-Werte besser ist als die eines anderen, kann man sagen, dass dieses System besser ist als das andere. Ist für einen Recall-Wert die Precision des einen Systems höher und für einen anderen die des anderen, ist eine generelle Aussage, welches System besser ist, nicht möglich. Um Systeme in jedem Fall vergleichen bzw. in eine Rangfolge bringen zu können, verwendet man häufig die mittlere Precision. Sie wird als Mittelwert der Precision-Werte an einer fest vorgegebenen Menge von Recall-Werten, z.B. den Recall-Werten {0,1, 0,2, 0,3, ... 0,9} oder {0,75, 0,5, 0,25} , berechnet. Dadurch erhält man eine reelle Zahl, nach der verschiedene Systeme in eine Rangfolge gebracht werden können. Da sich die tatsächlichen Recall-Werte in einem Precision-Recall-Diagramm aus der Anzahl der relevanten Dokumente ergeben, müssen die Precision-Werte für die gewählten Recall-Werte gegebenenfalls interpoliert werden; oder es wird der Precision-Wert verwendet, bei dem der gesuchte Recall erstmals überschritten wird. Ein anderes eindimensionales Maß ist der so genannte Break-Even Point: Das ist der Wert, an dem Precision und Recall gleich sind. Auch dieser Wert muss gegebenenfalls durch Interpolation ermittelt werden. In ungünstigen Fällen ist er nicht eindeutig bestimmt. Weitere Vergleichsmaße sind in Voorhees und Harman (1999) [->] beschrieben. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Diese Seiten sind urheberrechtlich geschützt. Die Verantwortung für die Inhalte und die Rechte der Online-Version liegen beim Autor Reginald Ferber, Münster (Westf). Die Rechte der gedruckten Version beim dpunkt.verlag, Heidelberg. Die Weiterverwendung von Texten oder Abbildungen - auch auszugsweise - ist ohne die schriftliche Zustimmung des Autors Reginald Ferber bzw. des dpunkt.verlags nicht gestattet.
Es wird darauf hingewiesen, dass die verwendeten Soft- und Hardware-Bezeichnungen sowie Markennamen und Produktbezeichnungen der jeweiligen Firmen im Allgemeinen warenzeichen-, marken-, oder patentrechtlichem Schutz unterliegen. Alle Angaben und Programme wurden mit großer Sorgfalt kontrolliert. Trotzdem kann keinerlei Haftung für Schäden irgendwelcher Art übernommen werden, die sich im Zusammenhang mit der Nutzung dieser Seiten ergeben.
Diese HTML-Datei wurde am 17-11-2003 erzeugt.