Was ist Few-Shot-Learning?

Few-Shot-Learning (FSL) ist ein Programmiergerüst des maschinellen Lernens, bei dem ein KI-Modell mithilfe weniger gekennzeichneter Beispiele lernt, zu genauen Vorhersagen zu gelangen. Dafür wird es auf allgemeine Muster und Merkmale trainiert, die für verschiedene Aufgaben gelten. Das Verfahren findet vor allem in Bereichen Verwendung, in denen nur begrenzte Daten verfügbar sind, wie bei der Bilderkennung und Sprachverarbeitung.

Was bedeutet Few-Shot-Learning?

Bei Few-Shot-Learning (FSL) handelt es sich um ein Framework aus dem Bereich Machine Learning, also um ein Grundgerüst für Programmiercode. Dieses wird verwendet, um KI-Modelle zu trainieren, mit einer kleinen Menge von Trainingsdaten genaue Vorhersagen zu treffen. Während herkömmliche maschinelle Lernverfahren oft Tausende von Datenpunkten benötigen, um zuverlässige Ergebnisse zu liefern, zielt Few-Shot-Learning auf die Optimierung des Lernens mit minimalen Datenmengen ab.

Das grundsätzliche Ziel von Few-Shot-Learning besteht darin, mit nur wenigen Beispielen effektiv lernen zu können. Aufgrund der Arbeit mit einer minimalen Datenmenge erweist sich FSL vor allem in Situationen als wertvoll, in denen es sich schwierig gestaltet, größere Mengen gekennzeichneter Daten zu sammeln. Oftmals sind schlichtweg die Kosten zu hoch, mitunter jedoch auch nur wenige Beispiele beziehungsweise Stichproben verfügbar. Das gilt etwa für seltene Krankheiten und einzigartige Handschriften.

Few-Shot-Learning lässt sich als Untergruppe des n-Shot-Learning werten. Das bedeutet, FSL stellt in der Regel ein sogenanntes N-Way-K-Shot-Kategorisierungssystem dar. Dabei steht „N” für die Anzahl der Klassen und „K” für die Anzahl der Beispiele, die für jede Klasse bereitgestellt werden. In diesen Bereich der künstlichen Intelligenz fallen auch das One-Shot-Learning (ein gekennzeichnetes Beispiel je Klasse) und das Zero-Shot-Learning (keine gekennzeichneten Beispiele). Ersteres wird als anspruchsvolle FSL-Variante gewertet, letzteres als eigenständiges Lernproblem.

Wie funktioniert Few-Shot-Learning?

Auch wenn spezielle Algorithmen und neuronale Netze zahlreiche FSL-Aufgaben erfolgreich bewältigen, wird Few-Shot-Learning vor allem durch das spezifische Lernproblem definiert und weniger durch den Einsatz einer bestimmten Modellstruktur. Die Palette an FSL-Methoden fällt daher recht breit aus und reicht von der Anpassung vorab trainierter Modelle über Meta-Learning bis hin zur Nutzung generativer Modelle. Nachfolgend stellen wir die einzelnen Ansätze genauer vor.

Transferlernen

Auf Transferlernen basierende Ansätze fokussieren sich darauf, im Vorhinein bereits trainierte Modelle anzupassen, um neue Aufgaben zu meistern. Anstatt ein Modell von Grund auf neu zu trainieren, werden bereits erlernte Merkmale und Darstellungen durch Feinjustierung auf eine neue Aufgabe übertragen. Dadurch lässt sich eine Überanpassung vermeiden, die oft Folge des überwachten Lernens mit wenigen gekennzeichneten Beispielen ist – insbesondere bei Modellen mit einer großen Anzahl an Parametern wie Convolutional Neural Networks.

Ein gängiges Verfahren besteht darin, ein Klassifizierungsmodell zu konfigurieren, indem neue Datenklassen mit wenigen Beispielen trainiert werden. Bei komplexeren Few-Shot-Learning-Verfahren erfolgt oftmals eine Anpassung der Netzwerkarchitektur. Transferlernen ist besonders effektiv, wenn starke Ähnlichkeiten zwischen der ursprünglichen und der neuen Aufgabe bestehen beziehungsweise wenn das ursprüngliche Training in einem ähnlichen Kontext stattgefunden hat.

Ansatz auf Datenebene

Few-Shot-Learning auf Datenebene basiert auf der Idee, zusätzliche Trainingsdaten zu generieren, um dem Problem der begrenzten Stichprobenmenge entgegenzutreten. Das Verfahren erweist sich vor allem in Situationen als praktisch, in denen aus der realen Welt entlehnte Beispiele äußerst rar sind, wie etwa bei neu entdeckten Spezies. Im Falle ausreichend vielfältiger Stichproben lassen sich Zusatzdaten erzeugen, die diesen ähnlich sind – beispielsweise über generative Modelle wie Generative Adversarial Networks. Es besteht zudem die Möglichkeit, die Datenerweiterung mit anderen Methoden wie Meta-Learning zu kombinieren.

Meta-Learning

Meta-Learning verfolgt einen breiteren und indirekteren Ansatz als klassisches Transferlernen und Supervised Learning, denn hier wird das Modell nicht nur für Aufgaben trainiert, die dem eigentlichen Verwendungszweck entsprechen. Dabei lernt es kurzfristig, Aufgaben innerhalb eines bestimmten Kontextes zu lösen und erkennt langfristig aufgabenübergreifende Muster und Strukturen. Dies gestattet es, Vorhersagen über den Ähnlichkeitsgrad von Datenpunkten beliebiger Klassen zu treffen und diese Erkenntnisse zur Lösung nachgelagerter Aufgaben zu verwenden.

Metrikbasiertes Meta-Learning

Ansätze des metrikbasierten Meta-Learning modellieren keine direkten Klassifikationsgrenzen, sondern kontinuierliche Werte, um eine spezifische Datenprobe zu repräsentieren. Schlüsse zu ziehen basiert hier auf dem Erlernen neuer Funktionen, welche die Ähnlichkeit zwischen dem Wert und denen der einzelnen Proben sowie Klassen messen. Zu den metrikbasierten FSL-Algorithmen zählen die folgenden:

• Siamesische Netzwerke verwenden kontrastierendes Lernen zur Lösung binärer Klassifizierungsprobleme. Dazu wird geprüft, ob zwei Stichproben ein positives (Übereinstimmung) oder negatives Paar (keine Übereinstimmung) darstellen.
• Matching-Netzwerke sind auch dazu in der Lage, eine mehrfache Klassifizierung durchzuführen. Sie greifen auf ein geeignetes neuronales Netz zurück, um für jede Stichprobe innerhalb der Unterstützungs- und Abfragesätze eine Einbettung auszugeben. Die Klassifizierung prognostizieren Matching-Netzwerke, indem sie Unterstützungs- und Abfragestichproben miteinander vergleichen.
• Prototypische Netzwerke ermitteln durchschnittliche Merkmale der für alle Klassen bereitgestellten Stichproben zur Berechnung eines Prototyps für jede Klasse. Einzelne Datenpunkte werden durch ihre relative Nähe zu den klassenspezifischen Prototypen kategorisiert.
• Relationsnetzwerke (RN) verwenden ebenfalls ein Einbettungsmodul, nutzen zusätzlich aber auch ein Beziehungsmodul, das eine zum jeweiligen Klassifizierungsproblem passende nichtlineare Distanzfunktion generiert.

Optimierungsbasiertes Meta-Learning

Optimierungsbasierte Methoden des Few-Shot-Learning verfolgen das Ziel, erste Modell- oder Hyperparameter für neuronale Netze zu erstellen, die sich effizient auf relevante Aufgabenstellungen anpassen lassen. Dazu unterstützen sie den Optimierungsprozess durch Meta-Optimierung (also andere Optimierungsmethoden), was auch als Optimierung des Gradientenabstiegs bezeichnet wird.

Als bekanntestes optimierungsbasiertes FSL-Verfahren gilt modellagnostisches Meta-Learning (MAML). Dieses fokussiert sich nicht auf eine bestimmte Aufgabe, sondern bietet sich für alle Modelle an, die durch Gradientenabstieg lernen. Es lassen sich aber auch sogenannte LSTM-Netzwerke (LSTM = Long Short-Term Memory) nutzen, um Meta-Learning-Modelle zu trainieren. Die Besonderheit der latenten Einbettungsoptimierung (LEO) besteht darin, dass sie eine generative Verteilung aufgabenspezifischer Modellparameter erlernt.

Was sind die wichtigsten Anwendungsgebiete für Few-Shot-Learning?

Few-Shot-Learning lässt sich sehr vielseitig einsetzen, denn letztlich profitieren zahlreiche Branchen – aber auch Forschungsbereiche – davon, trotz weniger Beispiele effizient zu lernen. Zu den zentralen Einsatzgebieten gehören:

• Computer Vision: Viele der am häufigsten verwendeten FSL-Algorithmen wurden zunächst für Bildklassifizierungsaufgaben entwickelt. Few-Shot-Learning eignet sich aber ebenso für komplexere Computer-Vision-Probleme wie Objekterkennung, bei der es erforderlich ist, einzelne Bildbestandteile genau zu lokalisieren.
• Robotik: Few-Shot-Learning hat das Potenzial, Roboter dabei zu unterstützen, sich in neuen Umgebungen schneller zurechtzufinden und neue Aufgaben schneller zu bewältigen.
• Sprachverarbeitung: FSL-Verfahren – insbesondere Transferlernen – helfen dabei, mit großen Datenmengen im Vorhinein trainierte Large Language Models an spezifische Aufgaben anzupassen, für die kontextuelles Verständnis notwendig ist. Dazu gehören unter anderem Textklassifizierungen und Stimmungsanalysen.
• Gesundheitswesen: Aufgrund der Fähigkeit, unbekannte und seltene Datenklassen schnell zu erfassen beziehungsweise zu erlernen, bietet sich Few-Shot-Learning ideal für medizinische Bereiche an, in denen sich die Beschaffung gekennzeichneter Probleme als schwierig erweist. Ein klassisches Beispiel dafür stellt die Diagnose seltener Krankheiten dar.
• Bankwesen: Kreditinstitute verwenden FSL-Algorithmen im Zuge der Betrugserkennung, um anomale Muster beziehungsweise Verhaltensweisen bei Finanztransaktionen zu identifizieren. Dies funktioniert auch dann, wenn nur wenige Betrugsfälle als Datensatz verfügbar sind.

Praktische Herausforderungen bei der Implementierung von Few-Shot-Learning

Die Implementierung von Few-Shot-Learning bringt einige praktische Herausforderungen mit sich: Eine der größten Hürden ist das Risiko des Overfittings (dt. Überanpassung). Modelle mit wenigen Trainingsbeispielen neigen dazu, die vorhandenen Daten zu stark zu lernen und dadurch schlecht zu generalisieren. Zudem setzt Few-Shot-Learning voraus, dass die Modelle sehr sorgfältig angepasst und abgestimmt werden, damit man eine gute Leistung erzielt.

Auch die Qualität der verfügbaren Daten ist ein entscheidender Erfolgsfaktor: Wenn die wenigen Beispiele nicht repräsentativ sind oder Fehler enthalten, kann dies die Leistung des Modells stark beeinträchtigen. Darüber hinaus ist die Auswahl geeigneter Merkmale und Methoden zur Erweiterung des Datensatzes aufgrund der begrenzten Anzahl von Daten herausfordernd. Auch die Rechenressourcen und die benötigte Zeit für das Training optimierter Few-Shot-Learning-Modelle sind nicht zu unterschätzen.