Titelblatt des Buchs
Reginald Ferber Information Retrieval
Suchmodelle und Data-Mining-Verfahren für Textsammlungen und das Web

Position im Angebot Information Retrieval -> Wissensgewinnung mit Data-Mining-Methoden -> Kategorisieren -> Rahmenbedingungen für Lernalgorithmen
Stichwörter dieser Seite Testmenge, Precision, Recall, classification accuracy, Abdeckung, Coverage, Mikrobewertung, Makrobewertung, Skalenniveau
Navigation Zurück ]    [ Inhalt ]    [ Stichwörter ]    [ Feedback ]    [ Home ]

2.3.5.4: Bewertung von Kategorisierungsergebnissen

Für die Bewertung von KDD-Algorithmen verfährt man - wie in Abschnitt 2.3.2 bereits angedeutet - im Prinzip ähnlich wie bei der Bewertung von Information-Retrieval-Verfahren. Man verwendet eine Testmenge, die möglichst repräsentativ für die Verteilung der Beispiele in dem Bereich sein sollte, der mit dem erzeugten Algorithmus bearbeitet werden soll. Aufgrund der richtig bzw. falsch kategorisierten Beispiele der Testmenge kann man wie in Abschnitt 1.3.7.3 Precision- und Recall-Werte für jede Kategorie berechnen. Allerdings heißt die Precision dabei häufig classification accuracy. Recall wird auch Abdeckung oder Coverage genannt.

Formal lässt sich das so formulieren:

Pfeil als Kennzeichnung einer Unterueberschrift Definition 13: Accuracy und Coverage

Man sieht unmittelbar, dass diese Definition eine Verallgemeinerung der Definition von Precision und Recall aus Abschnitt 1.3.7.3 ist: Setzt man als gegebene Kategorisierung K={r-1q({ 0}),r-1 q({1}) } und als berechnete Kategorisierung Q={D\Dq,Dq} ein, hat man die dort gegebenen Definitionen von Precision und Recall. Die Definition zeigt auch, dass in einer symmetrischen Sichtweise, wenn nämlich die vorgegebene Kategorisierung und die berechnete einfach als zwei verschiedene Kategorisierungen mit gleich vielen Kategorien betrachtet werden, die Precision durch Austauschen der Rollen der beiden Kategorisierungen aus dem Recall hervorgeht und umgekehrt.

Um eine Kategorisierung zu bewerten, können mittlere Genauigkeits- bzw. Abdeckungswerte berechnet werden. Dabei lassen sich die Mittelwerte wie in Abschnitt 1.3.7.4 wieder als Mikro- oder Makrobewertungen berechnen.

Im Allgemeinen ist es bei Kategorisierungen nicht sinnvoll, Precision-Recall-Diagramme zu benutzen, da die Algorithmen keine Ähnlichkeitswerte zu einer Anfrage und damit keine Rangfolge liefern, sondern ein binäres Ergebnis: Ein Dokument wird einer Kategorie zugeordnet oder nicht. Werden Kategorien durch Attribute auf höherem Skalenniveau (z.B. Intervallskalenniveau) definiert, kann es sinnvoll sein, Ähnlichkeiten zu berechnen und Precision-Recall-Diagramme zu verwenden.

Navigation Zurück ]    [ Inhalt ]    [ Stichwörter ]    [ Feedback ]    [ Home ]
Position im Angebot Information Retrieval -> Wissensgewinnung mit Data-Mining-Methoden -> Kategorisieren -> Rahmenbedingungen für Lernalgorithmen
Dieser Abschnitt und seine Unterabschnitte
Inhalt Stichwörter in der Reihenfolge ihres AuftretensStichwörter alphabetisch sortiert
2.3.5.4Bewertung von Kategorisierungsergebnissen
Def. 13 Accuracy und Coverage
Testmenge, Precision, Recall, classification accuracy, Abdeckung, Coverage, Accuracy, Coverage, Kategorisierung, Genauigkeit, Abdeckung, Mikrobewertung, Makrobewertung, Skalenniveau Abdeckung, Abdeckung, Accuracy, classification accuracy, Coverage, Coverage, Genauigkeit, Kategorisierung, Makrobewertung, Mikrobewertung, Precision, Recall, Skalenniveau, Testmenge

Diese Seiten sind urheberrechtlich geschützt. Die Verantwortung für die Inhalte und die Rechte der Online-Version liegen beim Autor Reginald Ferber, Münster (Westf). Die Rechte der gedruckten Version beim dpunkt.verlag, Heidelberg. Die Weiterverwendung von Texten oder Abbildungen - auch auszugsweise - ist ohne die schriftliche Zustimmung des Autors Reginald Ferber bzw. des dpunkt.verlags nicht gestattet.

Es wird darauf hingewiesen, dass die verwendeten Soft- und Hardware-Bezeichnungen sowie Markennamen und Produktbezeichnungen der jeweiligen Firmen im Allgemeinen warenzeichen-, marken-, oder patentrechtlichem Schutz unterliegen. Alle Angaben und Programme wurden mit großer Sorgfalt kontrolliert. Trotzdem kann keinerlei Haftung für Schäden irgendwelcher Art übernommen werden, die sich im Zusammenhang mit der Nutzung dieser Seiten ergeben.

Diese HTML-Datei wurde am 27-10-2003 erzeugt.