| ||||||||||||
1.3.7: Bewertung und Vergleich von IR-SystemenAm Ende der in der Einleitung gegebenen Beschreibung des Information Retrieval durch die Fachgruppe Information Retrieval der Gesellschaft für Informatik hatte es geheißen: "Aus dieser Problematik ergibt sich die Notwendigkeit zur Bewertung der Qualität der Antworten eines Informationssystems, wobei in einem weiteren Sinne die Effektivität des Systems in bezug auf die Unterstützung des Benutzers bei der Lösung seines Anwendungsproblems beurteilt werden sollte." Will man diesem Anspruch gerecht werden, so lassen sich IR-Systeme nur mit ungeheurem Aufwand beurteilen und vergleichen: Man müsste eine repräsentative Auswahl von Anwendungsproblemen und Benutzenden zur Verfügung haben und den Einfluss des IR-Systems auf die Lösung der Anwendungsprobleme isolieren und bewerten können. Eine solche Bewertung ist im Allgemeinen weder theoretisch noch praktisch möglich. Viele Evaluierungen beschränken sich deshalb darauf, Systeme mit einigen (manchmal kleinen) Dokument- und Anfragesammlungen zu überprüfen. Bei diesen Methoden bleiben allerdings zwangsläufig eine ganze Reihe von Einflussfaktoren unberücksichtigt. In anderen Untersuchungen - so genannten user studies - werden einzelne Schritte in der Bearbeitung von Dokumenten und Anfragen in IR-Systemen und Aspekte des Verhaltens von Indexierenden und Nutzenden untersucht und verglichen. Auf diese Studien wird hier nicht weiter eingegangen. 1.3.7.1: EinflussfaktorenNeben dieser Aufteilung der Evaluation nach den verschiedenen Systemkomponenten kann man auch eine Aufteilung nach verschiedenen Bewertungskriterien vornehmen. Dabei kann man zwischen Effizienz und Effektivität unterscheiden. Unter Effizienz versteht man dabei den möglichst sparsamen Umgang mit Ressourcen wie Rechenzeit und Speicherplatz. Effektivität beschreibt die Fähigkeit des Systems, den Nutzenden die benötigte Information bei möglichst geringen Kosten an Zeit und Anstrengung anzubieten. Während die Frage nach der Effizienz bei genügend genauer Analyse der verwendeten Algorithmen weitgehend analytisch und durch Benchmark-Tests geklärt werden kann, muss die Effektivität mit empirischen Methoden ermittelt werden. Im Folgenden werden nur Fragen zur Effektivität behandelt. 1.3.7.2: Relevanz1.3.7.3: Precision und Recall1.3.7.4: Mittelwertbildungen1.3.7.5: Testkollektionen1.3.7.6: Die TREC-Experimente | ||||||||||||
| ||||||||||||
Diese Seiten sind urheberrechtlich geschützt. Die Verantwortung für die Inhalte und die Rechte der Online-Version liegen beim Autor Reginald Ferber, Münster (Westf). Die Rechte der gedruckten Version beim dpunkt.verlag, Heidelberg. Die Weiterverwendung von Texten oder Abbildungen - auch auszugsweise - ist ohne die schriftliche Zustimmung des Autors Reginald Ferber bzw. des dpunkt.verlags nicht gestattet.
Es wird darauf hingewiesen, dass die verwendeten Soft- und Hardware-Bezeichnungen sowie Markennamen und Produktbezeichnungen der jeweiligen Firmen im Allgemeinen warenzeichen-, marken-, oder patentrechtlichem Schutz unterliegen. Alle Angaben und Programme wurden mit großer Sorgfalt kontrolliert. Trotzdem kann keinerlei Haftung für Schäden irgendwelcher Art übernommen werden, die sich im Zusammenhang mit der Nutzung dieser Seiten ergeben.
Diese HTML-Datei wurde am 27-10-2003 erzeugt.