|
|
|
|
Das zentrale Problem bei der Beurteilung von Retrievalergebnissen besteht darin, dass die richtige Antwort bekannt sein muss, um die Antwort des Systems zu bewerten. Konkret: Um zu überprüfen, ob zu einer Anfrage die richtigen Dokumente gefunden wurden, muss bekannt sein, welche Dokumente in der Datenbank vorhanden sind, die zu der Anfrage "gehören". Dazu verwendet man das Konstrukt der Relevanz, einer Beziehung, die zwischen einer Anfrage und einem Dokument besteht. Salton und McGill (1983) zitieren dazu eine Studie von Cuadra und Katter:
relevance is the correspondence in context between an information requirement statement (a query) and an article (a document), that is, the extend to which the article covers the material that is appropriate to the requirement statement
Diese Definition lässt natürlich entscheidende Fragen offen. Denn die Frage, wann ein Dokument oder ein Artikel "das Material abdeckt, das für die Anfrage angemessen ist", ist ja nichts weiter als eine neue Umschreibung des eigentlichen Problems des Information Retrieval. Tatsächlich wird in der Praxis auch keine Definition von Relevanz benutzt, wenn es darum geht, zu bestimmen, welche Artikel zu einer Anfrage relevant sind, sondern es werden Personen gebeten, die Relevanz einzuschätzen. Man verwendet also den intuitiven, umgangsprachlichen oder naiven Begriff, um Relevanz zu bestimmen (oder zu operationalisieren, wie die Psychologen sagen würden). So gesehen sind Evaluierungen von Retrieval Systemen Untersuchungen, die versuchen festzustellen, inwieweit das System zu den gleichen Ergebnissen kommt wie Versuchspersonen (wobei die Versuchspersonen auch Experten auf dem Gebiet sein können), die also menschliches Verhalten simulieren wollen. Dieser Aspekt wird in vielen Untersuchungen wenig klargestellt, vielmehr wird gerne der Anschein erweckt, dass es sich bei den verwendeten Methoden um von menschlichen Einflüssen unabhängige Maße handele.
Formal kann Relevanz folgendermaßen definiert werden:
3.5.2.1: |
|
|
|