Was ist eine Hopper-GPU?

Hopper-GPUs sind die neueste Generation von NVIDIAs High-Performance-GPUs, die speziell für KI und HPC entwickelt wurden und die Skalierung verschiedenster Workloads ermöglichen. Sie basieren auf einer innovativen Architektur mit leistungsstarken Tensor-Kernen und kombinieren diverse fortschrittliche Technologien für maximale Effizienz. NVIDIAs Hopper-GPUs eignen sich unter anderem für KI-Inferenz, Deep-Learning-Training und generative KI.

Die Architektur der Hopper-GPUs von NVIDIA

Die Bezeichnung „Hopper-GPU“ leitet sich von der Hopper-Architektur ab, die als GPU-Mikroarchitektur das Fundament der High-Performance-Grafikprozessoren bildet und für KI-Workloads sowie HPC-Anwendungen optimiert ist. Hopper-GPUs werden von TSMC im 4-Nanometer-Verfahren gefertigt und verfügen über 80 Milliarden Transistoren, wodurch sie zu den fortschrittlichsten, auf dem Markt erhältlichen Grafikkarten gehören.

Mit der Hopper-Architektur kombiniert NVIDIA die neueste Generation der Tensor-Kerne mit fünf wegweisenden Innovationen: Transformer-Engine, NVLink/NVSwitch/NVLink-Switch-Systeme, Confidential Computing, Multi-Instanz-GPUs (MIGs) der zweiten Generation und DPX-Anweisungen. Dank dieser Technologien erreichen Hopper-GPUs gegenüber der vorherigen Generation eine bis zu 30-fache Beschleunigung bei KI-Inferenz (basierend auf dem Megatron 530B Chatbot von NVIDIA – dem umfangreichsten generativen Sprachmodell der Welt).

Die innovativen Funktionen der Hopper-GPUs

Hopper-GPUs verfügen über verschiedene neuartige Funktionen, die zur Verbesserung der Leistung, Effizienz und Skalierbarkeit beitragen. Nachfolgend stellen wir Ihnen die wichtigsten Neuerungen vor:

• Transformer Engine: Mithilfe der Transformer Engine ist es Hopper-GPUs möglich, KI-Modelle bis zu neunmal schneller zu trainieren. Bei Inferenzaufgaben im Bereich der Sprachmodelle erreichen die GPUs verglichen mit der Vorgängergeneration eine bis zu 30-fache Beschleunigung.
• NVLink-Switch-System: Die vierte Generation von NVLink liefert eine bidirektionale GPU-Bandbreite von 900 GB/s, während NVSwitch für eine bessere Skalierbarkeit von H200-Clustern sorgt. Dadurch wird sichergestellt, dass sich KI-Modelle mit Billionen von Parametern effizient verarbeiten lassen.
• Confidential Computing: Die Hopper-Architektur gewährleistet, dass Ihre Daten, KI-Modelle und Algorithmen auch während der Verarbeitung geschützt sind.
• Multi-Instanz-GPU (MIG) 2.0: Die zweite Generation der MIG-Technologie erlaubt es, eine einzelne Hopper-GPU in bis zu sieben isolierte Instanzen aufzuteilen. Dadurch können mehrere Personen gleichzeitig verschiedene Workloads verarbeiten, ohne sich gegenseitig zu beeinträchtigen.
• DPX-Anweisungen: Durch DPX-Anweisungen lassen sich dynamisch programmierte Algorithmen bis zu siebenfach so schnell berechnen wie mit GPUs der Ampere-Architektur.

Anwendungsfälle: Wofür sich Hopper-GPUs eignen

Die auf der Hopper-Architektur basierenden NVIDIA-GPUs sind für High-Performance-Workloads unterschiedlichster Art ausgelegt. Als zentrale Einsatzgebiete von Hopper-GPUs gelten:

• Inferenzaufgaben: Die Grafikprozessoren zählen zu den branchenführenden Lösungen für den produktiven Einsatz von KI-Inferenz. Ob Empfehlungssysteme im E-Commerce, medizinische Diagnostik oder Echtzeitvorhersagen für autonomes Fahren – Hopper-GPUs können riesige Datenmengen schnell und effizient verarbeiten.
• Generative KI: Die High-End-GPUs liefern die notwendige Rechenpower, um Tools mit Generative AI zu trainieren und auszuführen. Die parallele Verarbeitung gestattet effizientere Berechnungen bei kreativen Aufgaben wie Text-, Bild- und Videogenerierung.
• Deep-Learning-Training: Mit ihrer hohen Rechenleistung eignen sich Hopper-GPUs optimal, um große neuronale Netzwerke zu trainieren. Die Hopper-Architektur sorgt für eine deutliche Verkürzung der Trainingszeiten von KI-Modellen.
• Konversations-KI: Aufgrund ihrer Optimierung für die Verarbeitung natürlicher Sprache (NLP) eignen sich Hopper-GPUs ideal für KI-gestützte Sprachsysteme wie virtuelle Assistenten und KI-Chatbots. Sie beschleunigen die Verarbeitung großer KI-Modelle und gewährleisten eine reaktionsschnelle Interaktion, die sich nahtlos in Geschäftsprozesse integrieren lässt – etwa in den Support. -Datenanalyse und Big Data: Hopper-GPUs bewältigen riesige Datenmengen mit hoher Geschwindigkeit und beschleunigen komplexe Berechnungen durch massive Parallelverarbeitung. Dies ermöglicht es Unternehmen, Big Data schneller auszuwerten, um Prognosen aufzustellen und die richtigen Maßnahmen in die Wege zu leiten. -Wissenschaft und Forschung: Da die GPUs für HPC-Anwendungen ausgelegt sind, eignen sie sich ideal für hochkomplexe Simulationen und Berechnungen. Hopper-GPUs werden beispielsweise in der Astrophysik, für die Klimamodellierung und in der Computerchemie genutzt.

Aktuelle Modelle von NVIDIA

Mit der NVIDIA H100 und der NVIDIA H200 hat das US-amerikanische Unternehmen bereits zwei Hopper GPUs auf den Markt gebracht. Die NVIDIA A30 beruht dagegen noch auf der Ampere-Architektur. Genau genommen handelt es sich bei der H200 jedoch nicht wirklich um ein eigenständiges Modell, sondern eher um eine Weiterentwicklung der H100. Worin sich die beiden GPUs unterscheiden, veranschaulicht die nachfolgende Übersicht:

• Speicher und Bandbreite: Während die NVIDIA H100 mit einem 80 GB großen HBM3-Speicher ausgestattet ist, verfügt die H200-GPU über einen HBM3e-Speicher mit einer Kapazität von 141 GB. Auch hinsichtlich der Speicherbandbreite liegt die H200 mit 4,8 TB/s gegenüber 2 TB/s bei der H100 deutlich vorn.
• Leistung für KI-Inferenz: Im Vergleich stellt die NVIDIA H200 eine doppelt so hohe Inferenzleistung für Modelle wie LLaMA 2-70 B bereit. Dies gestattet nicht nur eine schnellere Verarbeitung, sondern auch eine effiziente Skalierung.
• HPC-Anwendungen und wissenschaftliche Berechnungen: Die H100 bietet bereits ein erstklassiges Leistungsniveau für komplexe Berechnungen, das die H200 noch übertrumpft. Die Inferenzgeschwindigkeit fällt bis zu doppelt so hoch aus, die HPC-Leistung rund 20 Prozent höher.