Masterseminar: Klassifikation und Clustering

LSF: Algorithmische und formale Aspekte I (13239)
Wintersemester 2023/24, Präsenzseminar, 067, Oettingenstr.
Dozent: Stefan Langer

Kurzbeschreibung

Thema des Seminars sind Verfahren für die Klassifikation und das Clustering natürlichsprachlicher Daten. Folgende Inhalte werden erarbeitet:

• Grundlagen für Klassifikation und Clustering: Abstandsmaße, Klassenstruktur, Ontologien u.a.
• Die wichtigsten Klassifikations- und Clusteringalgorithmen für Clustering und Klassifikation (von K-Nearest-Neighbour bis Deep Learning)
• Textklassifikation mit Large Language Models, one-shot, few-shot learning
• Anwendung auf natürlichsprachliche Texte. Textaufbereitung und Featureauswahl
• Inhaltliche Klassifikation, Sprachenidentifikation, Sentiment Analysis
• Anwendung der Verfahren (auch im industriellen Kontext)

Weitere Themen können zu Seminarbeginn auf Basis der Interessen der Teilnehmer/innen festgelegt werden.

Scheinkriterien

Voraussetzung für die Scheinvergabe sind:

• regelmäßige Teilnahme;
• Referat, Implementierung, Dokumentation (Folien): Referatsthemen und Anforderungen an das Referat
• Abgabe der Folien nach dem Referat (oder spätestens Ende Februar)

Material und Literatur

Semesterplan mit Referatsterminen und Folien

Ergebnisse als Excel, CSV-Version und PDF-Version

Material

• Code zur Klassifizierung
• Daten zur Klassifikation: Briefsammlung, News, Sentiment
• Externer Link: Huffington Post News Headlines (für inhaltliche Kategorien)
• Externer Link: IMDB sentiment dataset (Sentiment-Klassifikation)
• Externer Link: Reuters-Korpus (21678) (inhaltliche Kategorien - muss im Seminar nicht verwendet werden)

Literatur

Überblickspaper: Kamran Kowsari et al (2019): Text Classification Algorithms: A Survey

Schon etwas älter, enthält aber wesentliche Grundlagen: Chris Manning and Hinrich Schütze (1999): Foundations of Statistical Natural Language Processing, MIT Press. Cambridge MA.

Es gibt einige Einführungen ins maschinelle Lernen, z.B. Miroslav Kubat: An Introduction to Machine Learning. Allerdings gehen diese meist nicht im Detail auf Textklassifikation ein.

Peng Jin, Yue Zhang, Xingyuan Chen, Yunqing Xia(2016): Bag-of-Embeddings for Text Classification. In: IJCAI proceeding, 2016.