Analysieren Sie Quantisierung und verwandte Verfahren für effiziente Inferenz.
Behandelt werden neuronale Quantisierung, gelernte Schrittweitenquantisierung, Inferenzleistung und weitere Effizienzverfahren für große Sprachmodelle. Sie unterscheiden Repräsentations- und Rechenkompromisse von tatsächlichen Hardwareeffekten, vergleichen Kompressionsverfahren und planen aufgabenspezifische Qualitäts- und Latenzprüfungen. Die englischsprachigen Videos werden mit originären analytischen Lernmaterialien ergänzt.
Erklären, wie geringere numerische Präzision Speicherung, Rechenoperationen und Vorhersagequalität verändern kann. Quantisierung mit Pruning, Distillation und Low-Rank Adaptation danach vergleichen, was jeweils verändert wird. Eine hardwarebewusste Evaluation komprimierter Inferenz mit Qualität, Latenz, Speicher und Einsatzannahmen entwerfen.
Erfahrung mit neuronalen Netzen und Modellevaluation ist empfehlenswert. Kenntnisse zu numerischer Präzision, Inferenz und grundlegenden Hardwaremetriken sind hilfreich; kein bestimmter Beschleuniger oder Rahmenwerk ist erforderlich.
Erfahrene Lernende, die fortgeschrittene KI-Kenntnisse vertiefen und anwenden möchten
Menschen, die am besten mit Beispielen, Anleitung und praktischen Übungen lernen
Fachleute, Kreative und unabhängige Entwickler, die wiederholbare Abläufe suchen
Probiere die erste Lektion
Probiere die erste Lektion kostenlos mit einem kostenlosen Konto, ohne Zahlungskarte. Weitere kostenpflichtige Lektionen erfordern gültigen Academy-Zugang, eine aktive Testphase oder Lumi Pro.
4 lektionen · Fortgeschritten · Vollständiger Kurs.
Dieser Kurs verwendet CC BY-lizenziertes Material mit Namensnennung des Inhaltsanbieters oder Uploaders. Die Wiedergabe der Lektionen ist erst nach Anmeldung und bestandener Veröffentlichungs- und Lizenzprüfung verfügbar.
Lektionen dieses Kurses besucht? Was hast du gelernt und was könnte klarer sein?
Erfahrung teilen · Korrektur vorschlagen
Feedback geht vertraulich an unser Team. Es wird nicht automatisch veröffentlicht oder als Bewertung gezählt. Teile keine Passwörter, Kundendaten oder sensiblen Informationen.