3.2.1.2: Lexikonbasierte Morphologieprogramme

Probleme bereiten im Deutschen die vielfältigen Veränderungen auch des Wortstammes. So werden nicht nur am Ende Suffixe angehängt, wie bei "des Hauses", sondern es werden Umlaute eingefügt (Apfel - Äpfel, alt - älter, Kuß - Küsse), von "ß" zu "ss" gewechselt (zumindest nach der alten Schreibweise) und Präfixe vorangestellt (laufen - gelaufen). Bei den Präfixen muß noch unterschieden werden, ob das Präfix abgetrennt werden kann (mitbringen: er brachte den Brief mit; nicht: er mitbrachte den Brief) oder nicht (überbringen: er überbrachte den Brief; nicht: er brachte den Brief über). Abgetrennte Präfixe können die Bedeutung eines Wortes auch verändern (Professorin Mayer schlug ihren Assistenten (für die Stelle vor)). Diese Eigenschaften lassen sich kaum in allgemeine Regeln fassen; sie sind von den einzelnen Wörtern abhängig. Um sie zu speichern, muss ein Lexikon angelegt werden, in dem zu jedem Wort die jeweiligen Eigenschaften abgelegt werden. Dieses Lexikon muß zumindest teilweise von Hand gepflegt werden, was einen enormen Aufwand bedeuten kann. Besondere Probleme macht dabei die Tatsache, dass im Deutschen häufig Komposita gebildet werden, indem mehrere Substantive, Adjektive, Adverbien und auch Verben zu einem neuen Wort zusammengefügt werden. Dabei werden verschiedene " Verfugungen" verwendet, die keiner Regelmäßigkeit folgen (Schwein-kram, Schwein-s-haxe, Schwein-s-braten oder Schwein-e-braten), aber durchaus Probleme bei der Auflösung von Komposita machen können (Arbeit-s-amt, Arbeit-samt).

Lexikonbasierte Morphologieprogramme können entweder als Vollformenlexikon, bei denen zu jeder möglichen Form der Stamm aufgeführt wird, implementiert werden oder als Wortstammlexikon. Im letzteren Fall werden zu jedem Stamm nur soviele Informationen gespeichert, dass alle Wortformen generiert werden können. Dazu werden verschiedene Flexionsklassen unterschieden und Besonderheiten vermerkt. In "Morphy", einem einfachen Morphologieprogramm mit Stammformenlexikon von Lezius (1995 [->]) (Lezius, Rapp und Wettler 1998 [->]) wird z. B. für ein Substantiv abgespeichert, in welche von 62 verschiedenen Deklinationsklassen es fällt (dadurch ist auch das Genus bestimmt), und ob bei der Pluralbildung ein ß/ss Wechsel oder eine Vokalumlautung stattfindet. Bei einem ß/ss Wechsel wird das erste von rechts vorkommende "ß" durch "ss" ersetzt oder umgekehrt, bei der Vokalumlautung der erste von rechts vorkommende umlautbare Vokal durch seinen Umlaut.

Während die zeichenmusterbasierte Grundformenreduktion im Wesentlichen nur erlaubt, vorhandene Formen auf Grundformen abzubilden, können mit den lexikonbasierten Verfahren zu einer Grundform bestimmte oder auch alle Wortformen konstruiert werden. Die Reduktion auf lexikalische Grundformen wird in "Morphy" nach dem Prinzip "Lemmatisierung durch Generierung" durchgeführt. Es wird dabei folgendermaßen vorgegangen:

• Suche nach der Wortform in einer kleinen Liste, die die häufigsten Wortformen mit ihren Grundformen enthält (Hochfrequenzwörterbuch). Wird das Wort gefunden, ist die Lemmatisierung beendet.
• Flexionsanalyse: sukzessive werden die letzen Buchstaben abgeschnitten und die verbleibende Zeichenkette im Stammformenlexikon gesucht. Wird ein Stamm gefunden, wird untersucht, ob damit die Wortform generiert werden kann. Bei der Suche im Stammformenlexikon werden die bei dem jeweiligen Stamm zugelassenen Umwandlungen (ß/ss, Umlautung) berücksichtigt (also gegebenenfalls in der Wortform rückgängig gemacht). Es werden alle Stämme geprüft, um bei Wortformen, die auf mehrere Stämme zurückgeführt werden können, alle diese Stämme zu finden (bzw. die, die im Lexikon verzeichnet sind). Werden Grundformen gefunden, werden sie mit der Wortklassenzugehörigkeit ausgegeben und die Lemmatisierung ist beendet. (vergl. Abbildung 18 )
• Kompositionsanalyse: Es werden von rechts rekursiv die jeweils längsten Wortformen abgeschnitten, die im Lexikon gefunden werden. Lässt sich das Wort so in Teilwörter zerlegen, wird es als Kompositum bezeichnet und die Lemmatisierung beendet.
• Konnte das Wort nicht lemmatisiert werden, wird auf der Basis einer empirischen Häufigkeitstabelle für Endungen eine Hypothese über die Wortklassenzugehörigkeit ausgegeben.

Abb. 18: Die Wortform "Flüssen" in der Flexionsanalyse bei Lezius (1995)

Lexikonbasierte Morphologieprogramme sind natürlich erheblich aufwändiger als die Grundformenreduktion mit lexikographischen Ersetzungsregeln. Sie bieten dafür aber erheblich mehr und genauere Informationen über die untersuchten Wortformen. Insbesondere für Verfahren, die nicht nur isolierte Wörter, sondern auch Wörter im (syntatktischen) Satzzusammenhang auswerten, sind diese zusätzlichen Informationen über die Wortform nützlich oder sogar zwingend notwendig. So gibt es auch für das Englische lexikonbasierte Morphologieprogramme. Eines davon (auch für die Sprachen Französisch, Deutsch, Italienisch und Spanisch) wird vom Xerox-Forschungszentrum in Grenoble (Xerox WWW) [->] angeboten.