3.5: Bewertung und Vergleich von IR Systemen

Am Ende der in der Einleitung gegebenen Beschreibung des Information Retrieval durch die Fachgruppe Information Retrieval der Gesellschaft für Informatik hatte es geheißen: "Aus dieser Problematik ergibt sich die Notwendigkeit zur Bewertung der Qualität der Antworten eines Informationssystems, wobei in einem weiteren Sinne die Effektivität des Systems in bezug auf die Unterstützung des Benutzers bei der Lösung seines Anwendungsproblems beurteilt werden sollte."

Will man diesem Anspruch gerecht werden, so lassen sich IR Systeme nur mit ungeheurem Aufwand beurteilen und vergleichen: Man müsste eine repräsentative Auswahl von Anwendungsproblemen und Benutzenden zur Verfügung haben und den Einfluss des IR Systems auf die Lösung der Anwendungsprobleme isolieren und bewerten können. Eine solche Bewertung ist im Allgemeinen weder theoretisch noch praktisch möglich. Viele Evaluierungen beschränken sich deshalb darauf, Systeme mit einigen (manchmal kleinen) Dokument- und Anfragesammlungen zu überprüfen. Bei diesen Methoden bleiben allerdings zwangsläufig eine ganze Reihe von Einflussfaktoren unberücksichtigt.

In anderen Untersuchungen - sogenannten "user studies" - werden einzelne Schritte in der Bearbeitung von Dokumenten und Anfragen in IR-Systemen und Aspekte des Verhaltens von Indexierenden und Nutzenden untersucht und verglichen. Auf diese Studien wird hier nicht weiter eingegangen.

3.5.1: Einflussfaktoren

Neben dieser Aufteilung der Evaluation nach den verschiedenen Systemkomponenten kann man auch eine Aufteilung nach verschiedenen Bewertungskriterien vornehmen. Dabei kann man zwischen Effizienz und Effektivität unterscheiden.

Unter Effizienz versteht man dabei den möglichst sparsamen Umgang mit Resourcen wie Rechenzeit und Speicherplatz. Effektivität beschreibt die Fähigkeit des Systems, den Nutzenden die benötigte Information bei möglichst geringen Kosten an Zeit und Anstrengung anzubieten. Während die Frage nach der Effizienz bei genügend genauer Analyse der verwendeten Algorithmen weitgehend analytisch und durch Benchmarktests geklärt werden kann, muss die Effektivität mit empirischen Methoden ermittelt werden. Im Folgenden werden nur Fragen zur Effektivität behandelt.

3.5.2: Relevanz

3.5.3: Precision und Recall

3.5.4: Mittelwertbildungen

3.5.5: Testkollektionen

3.5.6: Die TREC Experimente