Pretraining
KI-Glossar
Pretraining ist die erste und ressourcenintensivste Trainingsphase eines Sprachmodells, in der es auf sehr großen Textmengen lernt, Sprache zu verstehen und zu produzieren — ohne Bezug auf eine spezifische Aufgabe.
Kurzdefinition
Pretraining bezeichnet das unsupervised oder self-supervised Training eines großen Sprachmodells auf einem umfangreichen Textkorpus (z. B. Bücher, Websites, wissenschaftliche Artikel). Das Modell lernt dabei nicht, eine bestimmte Aufgabe zu lösen, sondern allgemeine Sprachstrukturen, Fakten und Zusammenhänge. Das Ergebnis ist ein Foundation Model, das als Ausgangspunkt für nachgelagerte Schritte wie Fine-Tuning und Post-Training dient.
Einfach erklärt
Pretraining ist vergleichbar mit einer sehr breiten Allgemeinbildung: Das Modell liest und verarbeitet enorme Textmengen und lernt dabei, wie Sprache funktioniert, was typische Zusammenhänge sind und wie Menschen Dinge erklären. Es lernt nicht für eine bestimmte Aufgabe, sondern baut ein umfassendes Sprachfundament auf.
Pretraining ist der teuerste Teil der KI-Modellentwicklung: Es dauert Wochen bis Monate und erfordert spezialisierte Rechenzentren. Deshalb führen weltweit nur wenige Unternehmen (OpenAI, Anthropic, Google, Meta u. a.) eigenes Pretraining durch. Die meisten Anwender nutzen vortrainierte Modelle als Ausgangspunkt.
Beispiel aus dem Arbeitsalltag
Ein Technologieunternehmen möchte einen Spezialisten-Assistenten für rechtliche Dokumente aufbauen. Es startet nicht bei null, sondern nutzt ein öffentlich verfügbares vortrainiertes Modell als Basis. Das Pretraining hat das Modell bereits mit allgemeinem Sprachverständnis ausgestattet; Fine-Tuning auf Rechtsdokumenten ergänzt die Spezialisierung.
Warum ist der Begriff wichtig?
Das Verständnis von Pretraining erklärt, warum fertige KI-Modelle breites Allgemeinwissen haben, das niemand explizit programmiert hat: Es steckt implizit in den gelernten Gewichten.
Für Unternehmen ist Pretraining der Grund, warum eigene Modellentwicklung in den meisten Fällen nicht wirtschaftlich ist. Vortrainierte Foundation Models nutzen und verfeinern ist der praxisrelevante Ansatz.
Chancen
- Vortrainierte Modelle als mächtige Ausgangsbasis für viele Aufgaben nutzbar
- Enormes Allgemeinwissen ohne eigenen Trainingsaufwand verfügbar
- Gute Grundlage für effizientes Fine-Tuning auf Spezialgebiete
- Open-Source-vortrainierte Modelle senken die Einstiegshürde erheblich
Risiken und typische Fehler
- Pretraining-Daten können Verzerrungen und veraltete Informationen enthalten
- Trainingsdaten großer Anbieter sind oft intransparent
- Modellverhalten nach Pretraining noch nicht für sichere Nutzung optimiert
- Eigenentwicklung von Pretraining für die meisten Unternehmen wirtschaftlich nicht sinnvoll
Verwandte Begriffe
Passende Inhalte im KI College
Lernen Sie Schritt für Schritt, wie Sie KI im Arbeitsalltag sinnvoll nutzen.
Use CasesKI im Arbeitsalltag anwenden
Entdecken Sie praktische Beispiele für typische Aufgaben im Beruf.
ToolsKI-Tools im Überblick
Finden Sie heraus, welche Tools zu welchen Aufgaben passen.