4.4.1.3: Evaluierung

Brodley und Utgoff (1995 [->]) überprüften die beschriebenen Verfahren mit acht verschiedenen Testsets. Ihre Ergebnisse für die Attributauswahl fassen sie folgendermaßen zusammen:

• Ob Auswahl oder Eliminierung bessere Ergebnisse liefert hängt vom untersuchten Datenset ab. Mit der "vollständigen Information" zu starten ist nicht immer besser.
• Mit der heuristischen Entscheidung im HSS Algorithmus wird gut zwischen Auswahl und Elimination entschieden.
• In sechs von acht Fällen war die verteilungsgesteuerte Rückwärtsauswahl nicht schlechter als die normale Rückwärtsauswahl. Sie ist aber erheblich schneller. Die (aufsteigende) Reihenfolge des Rechenaufwandes ist: DSBE, SFS, HSS, SBE
• Die Gesamtzahl der in einem Baum benötigeten Attribute hängt nicht wesentlich von der Wahl eine Auswahlverfahrens ab.

Für die Koeffizientenberechnung bei binären Entscheidungen sehen die Ergebnisse so aus:

• RLS erreicht die höchste Genauigkeit der drei untersuchten Methoden
• Dieses Ergebnis hängt nicht von der Attributauswahlmethode ab
• RLS erzeugt die kleinsten Bäume, braucht aber mit Abstand die meiste Rechenzeit