2.3.5.9: Overfitting

In vielen Anwendungsfällen kann die Trainingsmenge aufgrund der großen Anzahl der möglichen Kombinationen von Attributwerten nicht alle Attribut-Wert-Kombinationen abdecken. Wie oben beschrieben, kann man sich dann auf eine repräsentative Trainingsmenge oder auf eine Trainingsmenge, in der vor allem "schwierige" Fälle enthalten sind, beschränken. In solchen Fällen kann es zu so genanntem Overfitting kommen. Das bedeutet, dass die Regeln sich an Eigenheiten der Trainingsmenge orientieren, die nicht für die gesamte Datenmenge charakteristisch sind. Sie liefern dann eventuell bei neuen Datensätzen schlechtere Ergebnisse, als es allgemeinere Regeln oder breitere Klassifikationen getan hätten.

Das gilt insbesondere bei Verfahren wie der oben beschriebenen Fenstertechnik, die gezielt solche Beispiele in die Trainingsmenge aufnehmen, die schwierig zu kategorisieren sind, und dadurch keine repräsentative Trainingsmenge verwenden. Wird durch solche Methoden beim Lernen das Gewicht zu Lasten von häufigen Beispielen auf sehr seltene und schwierige Beispiele gelegt, kann die Leistung des resultierenden Systems auf den häufigen Beispielen nachlassen, was bei einer Gesamtbewertung natürlich stärker zu Buche schlagen kann als schlechtere Leistungen auf seltenen Beispielen.