7.2: Precision und Recall

In einer Literaturdatenbank mit 100 000 Dokumenten befinden sich zu einer Anfrage 30 relevante Dokumente. Ein zu bewertendes Retrieval System liefere die folgende Rangfolge von Dokumenten, in der jedes einzelne "R" ein relevantes Dokument und jedes "U" ein nicht relevantes Dokument bezeichne:

RRURRURRUR UURURRUUUR UUUURRUUUR RUUUURUUUU URUUUUUUUR UUUUURUUUU RUUUUUURUU UUUUUUUURU UUUUUUUURU UUUUUURUUU UUUURUUUUU UUUUUUURUU UUUUUUUURU UUUUUUUUUU UUUUUURUUU UUUUUUUUUU ...

• Berechnen und zeichnen Sie ein Precision-Recall Diagramm.
• Wie würde das Precision-Recall Diagramm aussehen, wenn das System optimal arbeiten würde?
• Wie würde das Precision-Recall Diagramm im Mittel aussehen, wenn die Auswahl der Dokumente durch das System zufällig wäre?
• Gibt es andere Möglichkeiten zu den Recallwerten gehörende Precisionwerte für ein Precision-Recall Diagramm zu bestimmen, als die in der Vorlesung angegebene? Wie könnten die aussehen? Wie verändert sich dadurch das Diagramm?
• Worauf muss man achten, wenn der Ähnlichkeitswert zur Anfrage für mehrere Dokumente gleich ist?