1.3.2.1: Reduktion von Wörtern auf ihre Grundformen
Der computerlinguistische Ansatz
versucht, Terme in Texten
nicht als Zeichenketten aufzufassen, sondern sie
als bestimmte Formen eines Worts zu erkennen. Es werden also z.B.
verschiedene Flexionsformen eines Worts als
zusammengehörig oder sogar identisch betrachtet.
Man unterscheidet dabei zwischen der
Grundformenreduktion,
die die Wörter auf ihre grammatikalische Grundform
(bei Substantiven auf den Nominativ Singular,
bei Verben auf den Infinitiv) zurückführt, und der
Stammformenreduktion.
Diese führt Wortformen auf ihren Stamm zurück,
der im Allgemeinen keine in der Sprache als
Wort vorkommende Form ist und z.B. für ein Verb und ein Substantiv
gleich sein kann. Diese Reduktion von verschiedenen
Formen eines Worts auf eine Grundform oder einen Stamm wird auch
Lemmatisierung oder
Stemming genannt. Sie führt einerseits dazu,
dass sehr verschiedene Zeichenketten als gleich angesehen werden. Andererseits
sollten im Idealfall identische Zeichenketten, die von
verschiedenen
Wortstämmen
abgeleitet werden, als verschieden angesehen werden. So werden
finden und Gefundenes auf denselben Stamm
zurückgeführt, sind aber als Zeichenketten ziemlich
verschieden, während die Zeichenkette Winden auf die Stämme
Wind, Winde und winden zurückgeführt werden
kann.
Im Information Retrieval können solche Verfahren eingesetzt werden,
indem beim Indexieren nur die Stämme verwendet werden. Abbildung 14
zeigt diese Anwendung schematisch: Die
Reduktion auf Stämme oder Grundformen kann als zusätzliche
Transformation der Repräsentation der Dokumente angesehen werden, die ihre
Darstellung weiter verallgemeinert.
Entsprechend werden bei Anfragen Wortformen auf die
Stämme oder Grundformen zurückgeführt.
Man verfolgt damit zwei Ziele:
- Durch das Zusammenführen von verschiedenen Wortformen zu einem Term werden
invertierte Listen bzw. andere Verweisstrukturen von Termen auf
Dokumente kleiner, da weniger Terme verwaltet werden müssen.
- Durch das Zusammenfassen verschiedener Wortformen zu
einem Term tritt dieser tendenziell häufiger auf. Inhaltlich
gesehen stellt das eine Verallgemeinerung der Bedeutung
des Terms dar. Bei der Suche sollten
daher mit dem zusammengefassten Term mehr Dokumente zu einem Thema gefunden werden.
Zur Frage, wieweit die zweite Annahme zutrifft, sind eine
Reihe von Experimenten durchgeführt worden (siehe Frakes und
Baeza-Yates, 1992 [->]
;
Hull, 1996 [->]
). Die Ergebnisse sind
uneinheitlich. Wichtige Einflussfaktoren dafür, dass mit der Reduktion auf eine Grund- oder
Stammform bessere Suchergebnisse erzielt werden, scheinen unter
anderem die Homogenität der Dokumentensammlung, in der gesucht wird, und
die Länge der Anfrage zu sein.
Um in einem Text Grundformen oder Wortstämme als
Terme zu isolieren, kann man zunächst versuchen,
allgemeine Regeln aufzustellen,
nach denen Zeichenketten auf Grundformen bzw. Stämme
zurückgeführt werden können. Für das
Englische gibt es eine ganze Reihe solcher Verfahren. Einige werden im
achten Kapitel des Buchs von Frakes und Baeza-Yates (1992) [->]
behandelt. Hier soll der
Algorithmus von Kuhlen (1977) [->]
kurz vorgestellt
werden.
|
Abbildung 14: Schematische Darstellung der Verwendung von Grundformenreduktionsverfahren in einem textbasierten Information-Retrieval-System