3.5.2: Kookurrenzverfahren

Untersuchungen, die mit Kookurrenzdaten arbeiten, wurden bereits Anfang der 1960er Jahre durchgeführt (Giuliano und Jones, 1963 [->] ). Seitdem ist das Thema immer wieder aufgegriffen, häufig aber als nicht erfolgreich bewertet worden (Salton und Buckley, 1988 [->] , Peat und Willett, 1991 [->] ). Ein grundsätzliches Problem des Ansatzes war lange Zeit der große Bedarf an Rechenkapazität und Speicherplatz sowie die Notwendigkeit, für die Bestimmung der Kookurrenzdaten große Korpora zur Verfügung zu haben, um brauchbare Schätzungen für die Wahrscheinlichkeiten des gemeinsamen Auftretens von Termen zu gewinnen (Gale und Church, 1990 [->] ). Diese Voraussetzungen für den Einsatz von Kookurrenzverfahren haben sich in den letzten Jahren durch die Verbreitung der elektronischen Textverarbeitung in allen Bereichen und die zunehmende Vernetzung dramatisch verbessert. Deshalb sollen diese Verfahren im Folgenden genauer vorgestellt werden.

Formal lassen sich Kookurrenzmodelle auf mehrere Arten herleiten. Zunächst kann man auf die Definition des Vektorraummodells in Abschnitt 1.3.6.1 zurückgreifen. Dort waren die Dokumente einer Sammlung D={d₁,...,d_m} als Vektoren w_i=(w_i,1,...,w_i,n ) über den Termen T={t₁,...,t_n} oder den Attributen A={A₁,...,A_n} definiert worden, wobei der Eintrag w_i,j in einem Dokumentvektor die Wichtigkeit des Terms t_j im Dokument d_i bzw. den Wert des Attributs A_j(d_i) angab. Diese Vektoren kann man als Zeilen einer Term-Dokument-Matrix

3.5.2.1: Ein Machine-Learning-Ansatz

Die direkte Anwendung von Machine-Learning-Verfahren auf eine Term-Dokument-Matrix, wie sie in dieser Studie untersucht wurde, ist allerdings die Ausnahme. Im Allgemeinen werden Term-Dokument-Matrizen dazu verwendet, Ähnlichkeiten zu berechnen. Für Ähnlichkeiten zwischen Dokumenten wurde das in Abschnitt 1.3.6 über das Vektorraummodell beschrieben. Aus den Ähnlichkeiten lassen sich nicht unmittelbar Regelmäßigkeiten der Dokumentensammlung ablesen. Sie können aber dazu genutzt werden, eine Sammlung in Cluster einzuteilen.

Verfahren zur Berechnung von Ähnlichkeiten zwischen Termen können dagegen als Methoden der Regelextraktion gesehen werden: Ihre Ergebnisse geben Auskunft über die Verwendung von Termen in den Dokumenten der Sammlung und können in eine für Nutzende verständliche Form gebracht werden.

3.5.2.2: Term-Term-Matrizen

3.5.2.3: Anwendung im IR

3.5.2.4: Häufigkeit der Terme

3.5.2.5: Expansion von Termen oder Anfragen

3.5.2.6: Größe der Dokumentensammlung

3.5.2.7: Eine Untersuchung zur Bestimmung von Suchtermen

3.5.2.8: Komplexere Kookurrenzverfahren