RAG oder Fine-Tuning? Die Frage ist 2026 meistens falsch gestellt

Seit Kontextfenster groß und Caching billig geworden sind, hat sich die Abwägung verschoben. Der praktische Konsens 2026: Für den weit überwiegenden Teil betrieblicher Anwendungen ist RAG die richtige erste Wahl, und die meisten produktiven Systeme enden ohnehin als Mischung aus beidem.

Was RAG tatsächlich besser kann

Drei Eigenschaften entscheiden in der Praxis: Sie können die Quelldaten ändern, ohne neu zu trainieren. Sie können jede Antwort auf ein konkretes Dokument zurückführen. Und Sie können das Basismodell wechseln, ohne die Arbeit zu verlieren. Gerade der zweite Punkt ist für Unternehmen oft der wichtigste: Eine Antwort ohne Beleg ist in einem Freigabeprozess wertlos.

Wann Fine-Tuning trotzdem lohnt

Zwei Fälle bleiben. Erstens: Wenn Sie ein großes Modell in ein kleineres, günstigeres destillieren wollen, weil Kosten oder Latenz sonst nicht tragbar sind. Zweitens: Wenn Sie einen festen Ton oder ein festes Ausgabeformat brauchen, das sich per Prompt nicht zuverlässig halten lässt. Beides sind Verhaltensfragen, keine Wissensfragen, und genau daran lässt sich die Entscheidung festmachen. Wissen gehört in den Abruf, Verhalten ins Modell.

Der Kostenunterschied ist größer als erwartet

Wer stattdessen einfach alles in ein sehr langes Kontextfenster kippt, zahlt dafür deutlich. Vergleichsrechnungen aus der Praxis zeigen Größenordnungen von etwa 0,40 US-Dollar für eine Anfrage mit vollem 128K-Kontext gegenüber rund 0,006 US-Dollar für dieselbe Anfrage mit gezieltem Abruf. Bei tausenden Anfragen pro Tag ist das der Unterschied zwischen einer Randnotiz und einem Budgetposten.

Umgekehrt gilt: Ein produktives RAG-System ist nicht umsonst. Vektorspeicher, regelmäßige Neu-Einbettung, Modellaufrufe und Beobachtbarkeit summieren sich. Veröffentlichte Praxiswerte für ein System mit rund 10.000 Anfragen täglich liegen im Bereich von 4.000 bis 9.000 US-Dollar monatlich.

Woran RAG in der Praxis scheitert

Fast nie am Modell. Sondern an der Aufteilung der Dokumente, an schlechter Trefferqualität und daran, dass niemand misst, ob die Antworten besser werden. Ein RAG-System ohne Evaluationsdatensatz ist ein System, dessen Qualität niemand kennt, auch nicht die, die es gebaut haben.

Unsere Reihenfolge

Erst Abruf sauber bauen und messbar machen. Dann prüfen, ob ein kleineres Modell mit Verhaltensanpassung dieselbe Aufgabe billiger erledigt. Fine-Tuning zuletzt, und nur mit einem Zahlenvergleich davor.

Quellen: Winder.ai: RAG vs Fine-Tuning 2026; Actian: RAG, Fine-Tuning oder Hybrid; arXiv: Tuning LLMs by RAG Principles.