1.3.7.2: Relevanz
Das zentrale Problem bei der Beurteilung von Retrieval-Ergebnissen
besteht darin, dass die richtige Antwort bekannt
sein muss, um die Antwort des Systems zu bewerten. Konkret: Um zu überprüfen, ob zu einer
Anfrage die richtigen Dokumente gefunden wurden, muss
bekannt sein, welche Dokumente in der Datenbank vorhanden
sind, die zu der Anfrage "gehören".
Dazu verwendet man das Konstrukt der
Relevanz, einer
Beziehung, die zwischen einer Anfrage und einem Dokument besteht.
Salton und McGill (1983) [->]
zitieren dazu eine Studie von Cuadra und Katter:
"Relevance is the correspondence in context between an
information requirement statement (a query) and an article (a document),
that is, the extend to which the article covers the material that is
appropriate to the requirement statement."
Diese Definition lässt natürlich
entscheidende Fragen offen. Denn die Frage, wann ein
Dokument oder ein Artikel "das Material
abdeckt, das für die Anfrage angemessen ist", ist
ja nichts weiter als eine neue Umschreibung
des eigentlichen Problems des Information Retrieval.
Tatsächlich wird in der
Praxis auch keine Definition von Relevanz benutzt, wenn
bestimmt werden soll, welche Artikel für eine Anfrage relevant
sind, sondern es werden Personen gebeten, die Relevanz
einzuschätzen. Man verwendet also den
intuitiven, umgangssprachlichen oder naiven Begriff, um Relevanz zu
bestimmen (oder zu operationalisieren, wie die Psychologen
sagen würden). So gesehen sind Evaluierungen von Retrieval-Systemen
Untersuchungen, die versuchen festzustellen, inwieweit das
System zu den gleichen Ergebnissen kommt wie Versuchspersonen (wobei die
Versuchspersonen auch Experten auf dem Gebiet sein können), die
also menschliches Verhalten simulieren
wollen. Dieser Aspekt wird in vielen Untersuchungen wenig
klargestellt, vielmehr wird gerne der Anschein erweckt, dass es sich bei
den verwendeten Methoden um von menschlichen Einflüssen
unabhängige Maße handelt. Formal kann Relevanz folgendermaßen definiert werden:
Diese Definition scheint auf den ersten Blick wenig
auszusagen. Sie schränkt aber ganz
erheblich ein, was als Relevanz bezeichnet werden kann.
So hängt nach dieser Definition die Relevanz eines
Dokuments für eine Anfrage lediglich von der Anfrage und dem Dokument ab.
Sie kann nicht durch andere Dokumente, die
bereits als relevant beurteilt wurden, beeinflusst werden.
Auch der Wissensstand der Anfragenden spielt in dieser Definition von Relevanz
keine Rolle, wenn er nicht explizit in der Anfrage angegeben wird.
Die meisten IR-Systeme lassen eine solche Angabe ohnehin nicht zu.
|
Definition 6: Relevanz