# Ollama verstehen Wenn man Ollama so konfigurieren will, dass ein Modell **viel Kontext verarbeiten** und **lange Antworten erzeugen** kann, stößt man sehr schnell auf Begriffe wie `num_ctx` und `num_predict`. Diese beiden Werte sind tatsächlich zentral — aber sie sind **nicht die ganze Geschichte**. Denn in der Praxis hängt die Qualität und Länge von Antworten nicht nur davon ab, **was man einstellt**, sondern auch davon: - **welches Modell** man verwendet, - **welche Kontextlänge das Modell nativ unterstützt**, - wie viel **RAM/VRAM** vorhanden ist, - welche **Quantisierung** genutzt wird, - und ob die Antworten trotz großer Kontexte **noch sinnvoll und stabil** bleiben. Dieser Artikel erklärt die wichtigsten Ollama-Werte rund um Kontext und Antwortlänge, was sie technisch bedeuten, wie sie sich auf das Verhalten des Modells auswirken und welche sinnvollen Konfigurationen es für verschiedene Anwendungsfälle gibt. --- # 1. Das Grundprinzip: Eingabetokens und Ausgabetokens Bevor wir über Parameter sprechen, ist ein Konzept entscheidend: Ein Sprachmodell arbeitet mit einem **Kontextfenster**. In diesem Fenster befinden sich alle Tokens, die das Modell aktuell „sehen“ kann. Dazu gehören z. B.: - die Systemanweisung, - die bisherigen Chat-Nachrichten, - eingefügte Dokumente, - dein aktueller Prompt, - und je nach Ablauf auch Teile der bereits erzeugten Antwort. Ein **Token** ist kein Wort, sondern ein kleines Textstück. Als grobe Faustregel gilt: - 1 Token ≈ 0,75 Wörter auf Englisch, - auf Deutsch oft ähnlich, manchmal etwas mehr, - 1000 Tokens entsprechen grob einigen hundert bis etwa 750 Wörtern. Wichtig ist: Das Modell hat **kein unbegrenztes Gedächtnis**. Es kann nur die Tokens berücksichtigen, die in sein Kontextfenster passen. --- # 2. `num_ctx`: Wie viel Kontext das Modell sehen kann ## Was bedeutet `num_ctx`? `num_ctx` bestimmt die **maximale Kontextlänge**, also wie viele Tokens insgesamt dem Modell zur Verfügung stehen. Das betrifft insbesondere: - den aktuellen Prompt, - Chat-Verlauf, - eingefügte Texte oder Dokumente, - und den restlichen Dialogkontext. Kurz gesagt: - **großes `num_ctx`** = mehr Text auf einmal verarbeitbar - **kleines `num_ctx`** = weniger Gedächtnis, schnellere Begrenzung ## Warum ist `num_ctx` so wichtig? Wenn du z. B. möchtest, dass ein Modell: - lange Dokumente analysiert, - Code über viele Dateien hinweg berücksichtigt, - in langen Chats frühere Aussagen erinnert, - große Wissensblöcke im Prompt verarbeitet, dann brauchst du ein ausreichend großes `num_ctx`. ### Beispiel Du gibst dem Modell: - 20.000 Tokens Dokumentinhalt, - 2.000 Tokens Instruktionen, - 3.000 Tokens Chatverlauf. Dann bist du schon bei **25.000 Tokens Eingabekontext**. Mit `num_ctx=8192` würde das nicht vollständig hineinpassen. Ein Teil müsste abgeschnitten werden oder der Prompt würde fehlschlagen bzw. intern gekürzt. ## Was passiert bei zu kleinem `num_ctx`? Ein zu kleines Kontextfenster führt oft zu: - abgeschnittenem Chat-Verlauf, - verlorenen Details aus früheren Nachrichten, - schlechterer Kohärenz in langen Unterhaltungen, - unvollständiger Dokumentenanalyse, - „Vergessen“ von Vorgaben. Das zeigt sich dann in Antworten wie: - das Modell widerspricht sich später, - es ignoriert frühe Anweisungen, - es beantwortet nur den letzten Teil eines langen Inputs, - es halluziniert mehr, weil ihm Kontext fehlt. ## Was passiert bei sehr großem `num_ctx`? Ein großes Kontextfenster ist nützlich, hat aber Kosten: - **mehr RAM/VRAM-Verbrauch** - oft **langsamere Verarbeitung** - bei manchen Modellen schlechtere Qualität weit hinten im Kontext - manche Modelle unterstützen große Kontexte technisch nur begrenzt sinnvoll Wichtig: Ein Modell kann zwar manchmal **mit großem Kontext gestartet** werden, aber das heißt nicht automatisch, dass es diesen Kontext **qualitativ gut nutzen** kann. Es gibt einen Unterschied zwischen: 1. **technisch möglich** 2. **vom Modell nativ trainiert/unterstützt** 3. **inhaltlich noch zuverlässig** Das ist extrem wichtig. --- # 3. `num_predict`: Wie lang die Antwort werden darf ## Was bedeutet `num_predict`? `num_predict` legt fest, wie viele **neue Tokens das Modell maximal erzeugen darf**. Also: - `num_ctx` = wie viel das Modell lesen kann - `num_predict` = wie viel das Modell schreiben darf Wenn du lange Antworten möchtest, ist `num_predict` der wichtigste direkte Parameter. ## Beispiel Wenn du `num_predict=256` setzt, dann kann die Antwort maximal etwa 256 Tokens lang sein. Das ist oft nur eine kurze bis mittlere Antwort. Wenn du `num_predict=2048` setzt, dann kann die Antwort deutlich ausführlicher werden. Wenn du sehr lange Artikel, Analysen oder Zusammenfassungen willst, sind Werte wie: - 1024 - 2048 - 4096 oft realistischer. ## Was passiert bei zu kleinem `num_predict`? Dann wirkt das Modell oft so, als würde es: - mitten im Satz abbrechen, - zu knapp antworten, - Aufzählungen nicht zu Ende führen, - bei „schreibe einen ausführlichen Artikel“ trotzdem nur einen kurzen Text liefern. In vielen Fällen ist das kein „Unwille“ des Modells, sondern schlicht eine harte Tokenbegrenzung. ## Was passiert bei sehr großem `num_predict`? Große Werte erlauben lange Antworten, aber auch hier gibt es Nebenwirkungen: - längere Laufzeit, - mehr Rechenaufwand, - höheres Risiko von Wiederholungen, - bei manchen Modellen größere Tendenz zum Abschweifen, - mehr Kosten bei API-/Ressourcennutzung. Außerdem heißt ein hoher Wert nicht, dass das Modell **immer** so lang antwortet. Er ist nur das **Maximum**. Das Modell kann trotzdem kurz antworten, wenn: - der Prompt nach Kürze klingt, - die Antwort eigentlich kurz ist, - ein Stop-Kriterium erreicht wird, - die Sampling-Parameter eher kurze oder prägnante Antworten begünstigen. --- # 4. Zusammenspiel von `num_ctx` und `num_predict` Viele verstehen diese beiden Werte anfangs isoliert. In Wirklichkeit wirken sie zusammen. ## Denkmodell - `num_ctx` = wie viel „Gedächtnisplatz“ vorhanden ist - `num_predict` = wie viel „Schreibplatz“ für die Antwort erlaubt wird ### Typischer Fall 1: Großer Input, kurze Antwort Du willst ein langes Dokument analysieren und nur eine knappe Zusammenfassung. Dann brauchst du: - **hohes `num_ctx`** - aber nur **moderates `num_predict`** Beispiel: - `num_ctx = 32768` - `num_predict = 512` ## Typischer Fall 2: Mittlerer Input, lange Antwort Du gibst eine überschaubare Aufgabe, willst aber einen langen Aufsatz. Dann brauchst du: - **mittleres `num_ctx`** - **hohes `num_predict`** Beispiel: - `num_ctx = 8192` - `num_predict = 2048` oder `4096` ## Typischer Fall 3: Großer Input und lange Antwort Das ist der anspruchsvollste Fall, z. B.: - viele Dokumente einlesen, - dann einen langen Bericht schreiben, - mit Zitaten, Struktur und Begründungen. Dann brauchst du beides hoch: - **großes `num_ctx`** - **großes `num_predict`** Beispiel: - `num_ctx = 32768` oder `65536` - `num_predict = 2048` bis `4096+` Aber genau hier steigen Speicherbedarf und Laufzeit stark. --- # 5. Warum „mehr Kontext“ nicht immer automatisch „besser“ ist Das ist einer der wichtigsten Punkte. Viele denken: **Je größer `num_ctx`, desto besser die Antwort.** Das stimmt nur teilweise. ## Problem 1: Das Modell wurde vielleicht nicht für so viel Kontext trainiert Ein Modell hat häufig eine **native oder empfohlene Kontextlänge**. Wenn man diese stark überschreitet, kann Folgendes passieren: - das Modell beachtet nur frühe oder späte Teile zuverlässig, - es „verwischt“ Informationen, - die Relevanzbewertung wird schlechter, - es reagiert inkonsistent. Ein Modell kann technisch vielleicht mit 32k oder 64k gestartet werden, obwohl es bei 8k oder 16k am besten arbeitet. ## Problem 2: Relevante Informationen gehen in der Masse unter Auch wenn formal alles in den Kontext passt, heißt das nicht, dass das Modell alles gleich gut nutzt. Wenn du 50 Seiten Kontext gibst, aber nur drei Sätze relevant sind, kann die Antwort schlechter werden als mit einem gut kuratierten, kompakten Prompt. ## Problem 3: Performance sinkt Mehr Kontext bedeutet meist: - langsameres Prompt-Processing, - oft mehr Speicherverbrauch, - trägere Reaktionszeit. Gerade lokal mit Ollama ist das sehr spürbar. --- # 6. Warum „mehr `num_predict`“ nicht automatisch „bessere lange Antworten“ bedeutet Ein hoher Wert ist nötig, aber nicht hinreichend. ## Mögliche Probleme bei sehr langen Generationen - Wiederholungen - inhaltliches Kreisen - Abschweifen - sinkende Strukturqualität - mehr Halluzinationen im späteren Verlauf Je länger eine Antwort wird, desto wichtiger wird: - ein guter Prompt, - klare Gliederungsvorgaben, - ggf. niedrigere Temperatur, - explizite Anforderungen wie „in 8 Abschnitten“, „mit Zwischenüberschriften“, „ohne Wiederholungen“. ## Praktischer Tipp Wenn du sehr lange und gute Antworten willst, hilft oft mehr als bloß `num_predict` zu erhöhen: Statt nur zu sagen: > Schreib mir einen langen Text besser: > Schreibe einen strukturierten Artikel mit Einleitung, 6 Hauptabschnitten, Praxisbeispielen, Grenzen, Fazit. Vermeide Wiederholungen und führe jeden Punkt konkret aus. So nutzt du das erlaubte Ausgabebudget sinnvoller. --- # 7. Weitere wichtige Parameter, die Antworten beeinflussen Auch wenn `num_ctx` und `num_predict` die Hauptrollen spielen, gibt es weitere Werte, die das Antwortverhalten stark beeinflussen. --- ## `temperature` Bestimmt, wie kreativ oder zufällig das Modell antwortet. - **niedrig** (z. B. 0.1–0.3): präziser, nüchterner, stabiler - **mittel** (z. B. 0.5–0.8): ausgewogen - **hoch** (z. B. 0.9+): kreativer, aber riskanter und unsteter ### Einfluss auf lange Antworten Für lange fachliche Texte ist eine **zu hohe Temperatur** oft problematisch: - mehr Abschweifungen, - mehr Halluzinationen, - mehr stilistische Unruhe. Für sachliche, längere Ausgaben sind oft Werte um **0.2 bis 0.7** sinnvoll. --- ## `top_k` Begrenzt die Auswahl auf die wahrscheinlichsten nächsten Tokens. - kleinerer Wert: konservativer - größerer Wert: offener ### Wirkung Kann helfen, Antworten kontrollierter oder kreativer zu machen. Für nüchterne und längere Analysen eher moderat halten. --- ## `top_p` Alternative bzw. Ergänzung zu `top_k`. Das Modell wählt aus den wahrscheinlichsten Tokens, bis eine kumulierte Wahrscheinlichkeit erreicht ist. - kleinerer Wert: enger, konservativer - größerer Wert: freier Auch das beeinflusst, ob lange Antworten eher stabil oder eher driftend werden. --- ## `repeat_penalty` Reduziert Wiederholungen. Gerade bei langen Antworten kann das wichtig sein, weil Modelle sonst dazu neigen, Formulierungen, Satzmuster oder Inhalte zu wiederholen. Ein etwas erhöhter Wert kann helfen, aber zu viel kann auch unnatürliche Sprache erzeugen. --- ## Stop-Sequenzen / `stop` Mit Stop-Sequenzen kann man festlegen, wann die Ausgabe enden soll. Das ist nützlich, wenn ein Modell sonst weiterredet, in neue Rollen springt oder Formatgrenzen ignoriert. Aber Vorsicht: Eine unpassende Stop-Sequenz kann lange Antworten **frühzeitig abschneiden**. --- # 8. Speicher, Geschwindigkeit und Hardware Großer Kontext ist vor allem ein **Hardware-Thema**. ## Mehr Kontext kostet Speicher Je größer `num_ctx`, desto mehr Speicher wird für den KV-Cache und die Verarbeitung benötigt. Das heißt: - größere `num_ctx`-Werte brauchen deutlich mehr RAM/VRAM, - größere Modelle verschärfen das Problem, - lange Kontexte und lange Antworten zusammen sind besonders anspruchsvoll. ## Auswirkungen in der Praxis Wenn du lokal arbeitest, merkst du das oft so: - das Modell startet langsamer, - die erste Token-Ausgabe dauert länger, - Prompt-Verarbeitung wird zäh, - bei zu hohen Werten wird geswappt oder es kommt zu Fehlern, - die Antwortgeschwindigkeit sinkt massiv. ## Wichtiger praktischer Zusammenhang Ein kleines Modell mit großem Kontext kann manchmal praktikabler sein als ein großes Modell mit riesigem Kontext. Beispielhaft: - Ein 7B- oder 8B-Modell mit 32k Kontext kann auf einem Desktop eher realistisch sein. - Ein deutlich größeres Modell mit derselben Kontextlänge kann lokal schnell unpraktisch werden. --- # 9. Modellgrenzen: Nicht jedes Modell ist für riesige Kontexte geeignet Das ist vielleicht der wichtigste praktische Rat überhaupt: **Ollama kann nur das freischalten, was Modell und Hardware sinnvoll hergeben.** Wenn ein Modell von Haus aus eher auf 4k, 8k oder 16k ausgelegt ist, bringt es oft wenig, einfach `num_ctx` extrem hochzusetzen. ## Worauf du achten solltest Beim gewählten Modell prüfen: - empfohlene Kontextlänge, - bekannte Langkontext-Fähigkeit, - Community-Erfahrungen, - Stabilität bei 32k/64k/128k, - Speicherbedarf bei deiner Quantisierung. Ein Modell mit offiziell guter Long-Context-Unterstützung ist für Dokumentanalyse oft viel wertvoller als ein Modell, das nur theoretisch groß konfigurierbar ist. --- # 10. Typische Anwendungsfälle und sinnvolle Einstellungen ## A. Langer Chat mit viel Gesprächsverlauf Ziel: - frühere Nachrichten erinnern, - konsistent bleiben, - über viele Runden hinweg zusammenhängend antworten. Empfehlung: - `num_ctx`: eher hoch, z. B. 16384 bis 32768 - `num_predict`: moderat, z. B. 512 bis 1024 Warum? Der Chat-Verlauf ist wichtiger als riesige Einzelausgaben. --- ## B. Dokumentanalyse großer Texte Ziel: - lange Texte lesen, - gezielt zusammenfassen oder Fragen beantworten. Empfehlung: - `num_ctx`: hoch, z. B. 32768 oder mehr, falls Modell geeignet - `num_predict`: 256 bis 1024, je nach gewünschter Antwortlänge Warum? Das Modell muss viel lesen, aber oft nicht extrem viel schreiben. --- ## C. Lange Essays, Berichte, Blogartikel Ziel: - ausführliche, strukturierte Ausgaben erzeugen. Empfehlung: - `num_ctx`: mittel bis hoch, z. B. 8192 bis 16384 - `num_predict`: hoch, z. B. 2048 bis 4096 Warum? Der eigentliche Schreibraum ist hier besonders wichtig. --- ## D. Code-Assistenz mit größeren Projekten Ziel: - mehrere Dateien, APIs, Fehlerlogs und Anforderungen gleichzeitig berücksichtigen. Empfehlung: - `num_ctx`: hoch - `num_predict`: mittel bis hoch Warum? Sowohl Kontext als auch Antwortlänge sind relevant. Besonders bei Refactoring, Architekturvorschlägen oder Datei-übergreifender Analyse. --- # 11. Wie man Konfigurationen sinnvoll testet Die beste Einstellung findet man selten nur theoretisch. Sinnvoll ist ein systematisches Vorgehen. ## Schritt 1: Das Ziel definieren Willst du vor allem: - längere Antworten? - längeren Chat-Verlauf? - große Dokumente im Prompt? - stabile Fachtexte? - schnelle Reaktion? Je nach Ziel verschiebt sich die optimale Konfiguration. ## Schritt 2: Erst konservativ starten Zum Beispiel: - `num_ctx = 8192` - `num_predict = 1024` Dann prüfen: - reicht der Kontext? - wird die Antwort abgeschnitten? - ist die Qualität stabil? - wie schnell läuft es? ## Schritt 3: Nur einen Wert auf einmal erhöhen Erhöhe entweder: - erst `num_ctx`, wenn Kontext fehlt, - oder erst `num_predict`, wenn Antworten zu kurz sind. Nicht alles gleichzeitig hochdrehen, sonst ist schwer erkennbar, was geholfen oder geschadet hat. ## Schritt 4: Mit echten Aufgaben testen Nicht nur mit Mini-Prompts. Nutze: - dein echtes Dokument, - deinen realen Chat-Verlauf, - deine typischen Schreibaufgaben. Nur dann siehst du, ob die Konfiguration wirklich passt. --- # 12. Praktische Faustregeln ## Wenn du große Dokumente verarbeiten willst: Erhöhe zuerst **`num_ctx`**. ## Wenn du längere Antworten willst: Erhöhe zuerst **`num_predict`**. ## Wenn Antworten trotz hohem `num_predict` kurz bleiben: Dann liegt es oft am Prompt oder an Stop-Kriterien, nicht nur an der Token-Grenze. ## Wenn das Modell frühere Infos vergisst: Dann ist oft `num_ctx` zu klein oder der relevante Kontext wird im Chat verdrängt. ## Wenn das Modell langsam wird oder abstürzt: Dann ist `num_ctx` möglicherweise zu hoch für dein Modell oder deine Hardware. ## Wenn lange Antworten schlechter werden: Dann nicht nur `num_predict` erhöhen, sondern: - Prompt besser strukturieren, - Temperatur etwas senken, - ggf. Ausgabe in Abschnitte aufteilen. --- # 13. Beispielhafte Denkmuster statt „ein bester Wert“ Es gibt **keinen universell besten Wert** für `num_ctx` oder `num_predict`. Stattdessen sind diese Denkmuster nützlich: ### „Ich will, dass das Modell mehr erinnert“ → `num_ctx` erhöhen ### „Ich will, dass es nicht mitten im Artikel aufhört“ → `num_predict` erhöhen ### „Ich will lange Dokumente und dann ausführliche Ausgaben“ → beide erhöhen, Hardware und Modellgrenzen beachten ### „Ich will bessere Qualität bei langen Antworten“ → nicht nur Tokenlimits anheben, sondern Sampling und Prompt verbessern --- # 14. Typische Missverständnisse ## Missverständnis 1: „Großer Kontext heißt automatisch gute Langzeit-Erinnerung.“ Nicht unbedingt. Das Modell kann Informationen formal im Fenster haben, sie aber nicht optimal gewichten. ## Missverständnis 2: „Wenn ich `num_predict` riesig setze, bekomme ich automatisch lange Antworten.“ Nein. Es ist nur das Maximum. Der Prompt und das Modellverhalten entscheiden mit. ## Missverständnis 3: „Ich kann jedes Modell einfach auf 64k oder 128k Kontext stellen.“ Technisch vielleicht teilweise, aber sinnvoll und qualitativ stabil ist das nicht bei jedem Modell. ## Missverständnis 4: „Wenn Antworten abgeschnitten werden, brauche ich nur mehr `num_ctx`.“ Nicht unbedingt. Oft ist dann eher `num_predict` zu klein. --- # 15. Konkrete Kurzempfehlungen Wenn du mit Ollama arbeitest und einfach praktikabel starten willst: ## Für allgemeine Nutzung - `num_ctx`: 8192 - `num_predict`: 512 bis 1024 ## Für große Dokumente - `num_ctx`: 16384 bis 32768 - `num_predict`: 512 bis 1024 ## Für lange Artikel/Erklärungen - `num_ctx`: 8192 bis 16384 - `num_predict`: 2048 bis 4096 ## Für sehr anspruchsvolle Long-Context-Aufgaben - `num_ctx`: so hoch wie Modell + Hardware sinnvoll erlauben - `num_predict`: je nach gewünschter Ausgabelänge - zusätzlich auf Modellwahl und Promptstruktur achten --- # 16. Fazit Die beiden wichtigsten Ollama-Werte für dein Anliegen sind: - **`num_ctx`** für die **Menge an verarbeitbarem Kontext** - **`num_predict`** für die **maximale Länge der Antwort** Man kann sich das so merken: - **`num_ctx` = lesen** - **`num_predict` = schreiben** Wenn du große Kontexte verarbeiten willst, musst du `num_ctx` erhöhen. Wenn du lange Antworten möchtest, musst du `num_predict` erhöhen. Wenn du beides willst, musst du beides erhöhen — aber dann steigen auch die Anforderungen an Modell, Speicher und Laufzeit. Der wichtigste praktische Punkt ist dabei: **Nicht nur größer einstellen, sondern passend einstellen.** Denn ein riesiger Kontext bringt wenig, wenn: - das Modell dafür nicht gut geeignet ist, - die Hardware überlastet wird, - der Prompt schlecht strukturiert ist, - oder die Antwortqualität bei langen Generationen sinkt. Die beste Konfiguration ist deshalb immer ein Kompromiss aus: - Kontextbedarf, - gewünschter Antwortlänge, - Modellfähigkeit, - Stabilität, - und verfügbarer Hardware.