Was ist ein Neural Network?

Ein neuronales Netz (englisch: neural network) ist ein System der Informationstechnologie, das sich im Aufbau am menschlichen Gehirn orientiert und Computer mit Merkmalen künstlicher Intelligenz ausstattet. Neuronale Netze sind ein zentraler Bestandteil und eine von vielen Methoden moderner KI-Anwendungen, zum Beispiel von Chatbots wie ChatGPT.

Es existieren verschiedene Arten von künstlichen neuronalen Netzen, die jeweils unterschiedliche Möglichkeiten der Informationsverarbeitung im Kontext des Deep Learning bieten. Die Forschung hierzu hat in den vergangenen Jahren riesige Sprünge gemacht. Neural Networks bilden also eine zentrale Technologie, um Maschinen das eigenständige Denken beizubringen, wodurch Computer eigenständig Probleme lösen und ihre Fähigkeiten verbessern können. Mittlerweile sind neuronale Netze Teil von multimodalen Systemen, die Text, Bild, Audio und Video kombinieren können.

Wie funktioniert ein Neural Network?

Neuronale Netze orientieren sich am Aufbau des menschlichen Gehirns, das Informationen über ein Netz von Neuronen verarbeitet.

Zur Anzeige dieses Videos sind Cookies von Drittanbietern erforderlich. Ihre Cookie-Einstellungen können Sie hier aufrufen und ändern.

Künstliche neuronale Netze lassen sich als Modelle aus mindestens zwei Schichten beschreiben – einer Eingabe- und einer Ausgabeschicht – sowie in der Regel weiterer dazwischen liegender Schichten (Hidden Layers). Moderne Netzwerke wie Convolutional Neural Networks (CNNs) oder Transformer-Modelle benötigen oft viele Schichten, auch für einfache Aufgaben, weil die Tiefe zu ihrer Effizienz beiträgt. Auf jeder Schicht des Netzes liegt eine Vielzahl von spezialisierten künstlichen Neuronen.

Informationsverarbeitung im Neural Network

Die Informationsverarbeitung im neuronalen Netz folgt immer dem gleichen Ablauf: Informationen treffen in Form von Mustern oder Signalen auf die Neuronen der Eingangsschicht, wo sie verarbeitet werden. Dabei ist jedem Neuron ein Gewicht zugeordnet, sodass Neuronen unterschiedliche Wichtigkeiten erhalten. Das Gewicht entscheidet zusammen mit einer Übertragungsfunktion über die Eingabe, die nun weitergeleitet wird.

Eine Aktivierungsfunktion und ein Schwellenwert berechnen und gewichten im nächsten Schritt den Ausgabewert des Neurons. Je nach Informationsbewertung und -gewichtung werden weitere Neuronen verknüpft und mehr oder weniger stark aktiviert.

Durch diese Verknüpfung und Gewichtung wird ein Algorithmus modelliert, der für jeden Input ein Ergebnis erzeugt. Mit jedem Training wird die Gewichtung und damit der Algorithmus angepasst, sodass das Netz immer genauere und bessere Ergebnisse liefert.

Neuronales Netz: Beispiel für die Anwendung

Neuronale Netze können zur Bilderkennung eingesetzt werden. Anders als Menschen kann ein Computer nicht mit einem Blick erkennen, ob auf einem Bild ein Mensch, eine Pflanze oder ein Gegenstand zu sehen ist. Er muss das Foto auf einzelne Merkmale untersuchen. Welche Merkmale relevant sind, weiß der Computer durch den implementierten Algorithmus oder er findet es durch Datenanalyse selbst heraus.

In jeder Schicht des Netzes prüft das System die Eingangssignale, d. h. die Bilder, auf einzelne Kriterien wie Farbe, Ecken, Formen. Mit jeder Prüfung kann der Computer besser bewerten, was auf dem Bild zu sehen ist.

Zunächst werden die Ergebnisse fehlerbehaftet sein. Erhält das neuronale Netz Feedback von einem menschlichen Trainer und kann dadurch seinen Algorithmus anpassen, spricht man von maschinellem Lernen. Beim Deep Learning kann das menschliche Training entfallen. Das System lernt in diesem Fall aus der eigenen Erfahrung und wird umso besser, je mehr Bildmaterial ihm vorliegt.

Am Ende steht im Idealfall ein Algorithmus, der fehlerfrei den Inhalt der Bilder identifizieren kann. Abhängig vom Training auch unabhängig davon, ob diese Bilder schwarzweiß sind oder in welcher Pose oder aus welcher Perspektive das Dargestellte zu sehen ist.

Typen von neuronalen Netzen

Es werden unterschiedliche Strukturen von neuronalen Netzen verwendet, abhängig vom eingesetzten Lernverfahren und vom Anwendungszweck.

Perzeptron

Die einfachste Form des neuronalen Netzes bezeichnete ursprünglich ein „Netz“ aus einem einzigen Neuron, das über Gewichtungen und einen Schwellenwert verändert wird. Mittlerweile wird der Begriff „Perzeptron“ auch für einlagige Feedforward-Netze verwendet.

Feedforward-Netze

Diese künstlichen neuronalen Netze können Informationen nur in eine Verarbeitungsrichtung leiten. Die Netze können einlagig sein, d. h. nur aus Eingangs- und Ausgangsschicht bestehen, oder mehrlagig mit diversen versteckten Schichten (englisch: Hidden Layers).

Rekurrente Netze

In rekurrenten Netzen können Informationen auch Feedback-Schleifen durchlaufen und damit in Schichten zurückspringen. Die Rückkopplungen ermöglichen dem System, ein Gedächtnis aufzubauen. Rekurrente Netze werden z. B. in der Spracherkennung, Übersetzung und Handschrifterkennung eingesetzt.

Convolutional Neural Networks

Die Netzwerke sind eine Unterform der mehrschichtigen Netze. Sie bestehen aus mindestens fünf Schichten. Auf jeder Schicht wird eine Mustererkennung durchgeführt, wobei das Ergebnis einer Schicht in die nächste übertragen wird. Diese Art von neuronalen Netzen wird in der Bildererkennung eingesetzt.

Lernverfahren

Damit die Verbindungen in künstlichen neuronalen Netzen passend geknüpft werden, um die Aufgabenstellung zu lösen, müssen die Netze zunächst trainiert werden. Dabei lassen sich zwei grundlegende Verfahren unterscheiden:

Überwachtes Lernen

Beim überwachten Lernen wird für unterschiedliche Eingabeoptionen jeweils ein konkretes Ergebnis definiert. Sollen beispielsweise Katzenbilder als solche vom System erkannt werden, kontrollieren Menschen die Zuordnung des Systems und geben Rückmeldung, welches Bild richtig und welches falsch erkannt wurde. So werden die Gewichtungen im Netz verändert und der Algorithmus optimiert.

Unbeaufsichtigtes Lernen

Beim unbeaufsichtigten Lernen wird das Ergebnis für die Aufgabenstellung nicht vorgegeben. Stattdessen lernt das System ausschließlich anhand der Eingangsinformationen. Zum Einsatz kommen hierfür die Hebbsche Lernregel oder die Adaptive Resonanztheorie. Heutzutage fokussiert sich die Praxis auf Algorithmen wie Stochastic Gradient Descent (SGD).

Einsatzbereiche für Neural Networks

Neuronale Netzwerke lassen sich besonders dann erfolgreich einsetzen, wenn eine Vielzahl von auszuwertenden Daten und nur wenig systematisches Lösungswissen vorhanden ist. Klassische Anwendungsfälle sind die Text-, Bild- und Spracherkennung – Fälle, in denen Computer Daten auf bestimmte Merkmale untersuchen, um eine Zuordnung vorzunehmen.

Neuronale Netze wie Convolutional Neural Networks (CNNs) ermöglichen es Computern, Inhalte in Bildern zu erkennen. Diese Technologie wird in der medizinischen Bildanalyse oder in der automatisierten Qualitätskontrolle in der Industrie eingesetzt. Dort werden Neural Networks teilweise in der Regelungstechnik verwendet, in der sie Soll-Werte überwachen und bei Abweichungen automatisiert Gegenmaßnahmen ergreifen oder in der sie eigenständig Soll-Werte anhand ihrer Datenauswertung vorgeben.

Sprachmodelle wie ChatGPT, die auf neuronalen Netzen basieren, erzeugen realistisch klingende Texte, beantworten Fragen oder analysieren große Mengen an Textdaten.

Künstliche neuronale Netze können auch zum Einsatz kommen, um Prognosen zu ermitteln und Simulationen zu erstellen, z. B. in der Wettervorhersage oder der medizinischen Diagnostik. Convolutional Neural Networks (CNNs) ermöglichen es beispielsweise Computern, Inhalte in Bildern zu erkennen. Diese Technologie wird in der medizinischen Bildanalyse eingesetzt, um beispielsweise Tumore auf Röntgenbildern zu identifizieren.

Die Entwicklungen im Bereich des unüberwachten Lernens von künstlichen neuronalen Netzen sind im Begriff, den Einsatzbereich und die Leistungsfähigkeit der Netze massiv auszuweiten. Zu den prominentesten Anwendungsfällen der selbstlernenden neuronalen Netze gehört die Speech Synthesis der Sprachassistenten. Systeme wie Alexa, Siri oder Google Assistant nutzen neuronale Netze, um gesprochene Sprache in Text umzuwandeln und darauf zu reagieren. Transformer-Modelle wie GPT oder BERT haben die Qualität maschineller Übersetzungen revolutioniert.

Historie und Zukunftsperspektive

Neural Networks sind in den vergangenen zehn Jahren im Zug der Diskussion um künstliche Intelligenz ins öffentliche Bewusstsein gerückt, doch die Technologie ist in ihrem Kern bereits viele Jahrzehnte alt.

Überlegungen zu künstlichen neuronalen Netzen reichen bis in die frühen 1940er-Jahren zurück. Warren McCulloch und Walter Pitts beschrieben damals ein Modell, das elementare Einheiten verknüpft und im Aufbau dem menschlichen Gehirn nachempfunden war. Mit ihm sollte sich so gut wie jede arithmetische Funktion berechnen lassen. 1949 entwickelte Donald Hebb die oben erwähnte Hebbsche Lernregel, die bis heute in vielen neuronalen Netzen verwendet wird.

1960 wurde ein neuronales Netz entwickelt, das weltweite kommerzielle Verwendung in der Echofilterung in Analogtelefonen fand. Danach geriet die Forschung auf dem Gebiet ins Stocken. Zum einen, weil führende Wissenschaftler zu dem Schluss kamen, dass das Modell der neuronalen Netze wichtige Probleme nicht lösen konnte; zum anderen, weil für ein effektives Lernen der Systeme große digitale Datenmengen erforderlich waren, die damals nicht vorlagen.

Erst mit dem Aufkommen von Big Data änderte sich das. Mit der Einführung des Backpropagation-Algorithmus wurde das Training von mehrschichtigen Netzen möglich. Dies legte den Grundstein für moderne Deep-Learning-Modelle. Die Kombination aus enormen Datenmengen und der Rechenleistung moderner Grafikprozessoren (GPUs) führte zu einem Durchbruch in den 2010er Jahren. Frameworks wie TensorFlow und PyTorch machten die Entwicklung neuronaler Netze zugänglicher.

Das Interesse an künstlicher Intelligenz und neuronalen Netzen kehrte zurück und der Sieg eines CNNs im ImageNet-Wettbewerb 2012 markierte den Beginn des modernen Deep Learnings. Seitdem hat die Technologie rasant an Bedeutung gewonnen und beeinflusst nahezu jeden Bereich der Informatik.

Seitdem geht die Entwicklung in diesem Bereich in einem rasanten Tempo voran. So vielversprechend die Ergebnisse sind, neuronale Netze sind nicht die einzige Technologie, um künstliche Intelligenz in Computer zu implementieren. Sie stellen nur eine Möglichkeit dar, auch wenn sie in der öffentlichen Debatte häufig als der einzige praktikable Weg dargestellt werden. Heute geht die Forschung über klassische neuronale Netze hinaus. Multimodale Modelle, die Text, Bild und Sprache kombinieren, und Ansätze zur Reduzierung des Energieverbrauchs stehen im Fokus. Gleichzeitig werden neuronale Netze immer mehr in Alltagsanwendungen integriert, von Smartphones bis hin zu intelligenten Haushaltsgeräten.