Private RAG: KI mit den eigenen Dokumenten, ohne dass etwas das Haus verlässt

Viele Betriebe stellen dieselbe Frage: Kann eine KI Fragen zu unseren Verträgen, Handbüchern und Angeboten beantworten, ohne dass diese Dokumente das Unternehmen verlassen? Die technische Antwort darauf heisst RAG. Dieser Artikel erklärt, was dahinter steckt, warum der Betrieb auf eigener Infrastruktur für viele Mittelständler der Ausgangspunkt ist und wie wir bei ZEHN X messen, ob so ein System verlässlich antwortet.

Was RAG ist, in einfachen Worten

RAG steht für Retrieval-Augmented Generation. Dahinter steckt ein einfaches Prinzip: Bevor das Sprachmodell antwortet, sucht das System zuerst die passenden Textstellen in Ihren eigenen Dokumenten heraus und legt sie dem Modell zusammen mit der Frage vor. Die Antwort entsteht dann auf Basis dieser Stellen und nicht aus dem allgemeinen Trainingswissen des Modells.

Im Alltag ist der Unterschied deutlich. Eine Frage wie „Welche Kündigungsfrist steht im Wartungsvertrag mit unserem Lieferanten?" lässt sich nur beantworten, wenn das System den Vertrag tatsächlich vor sich hat. Gute RAG-Systeme nennen dazu die Fundstelle, sodass eine Fachkraft die Antwort schnell gegenprüfen kann.

Warum Self-Hosting für viele Mittelständler die Voraussetzung ist

Sobald Verträge, Personalunterlagen oder Konstruktionsdaten im Spiel sind, stellt sich die Frage, wo diese Daten verarbeitet werden. Nach unserer Einschätzung ist das für viele Betriebe im Mittelstand keine Detailfrage, sondern die Bedingung, unter der ein KI-Projekt überhaupt beginnen darf. In unserer Wahrnehmung fragen Datenschutzbeauftragte, Betriebsräte und Kunden zuerst danach und erst dann nach Funktionen.

Self-Hosting bedeutet: Dokumente, Suchindex und Sprachmodell laufen auf Servern, die Sie kontrollieren, im eigenen Rechenzentrum oder bei einem Anbieter in Deutschland. ZEHN X betreibt seine Systeme selbst gehostet in Deutschland und richtet sie an der DSGVO aus. Der Preis dafür ist mehr Verantwortung im Betrieb. Genau deshalb reicht ein Prototyp nicht aus, es braucht einen Bauplan mit Betriebsregeln.

Was in der SYSTEM EDITION 001 PRIVATE RAG steckt

Die SYSTEM EDITION 001 PRIVATE RAG ist ein digitaler Bauplan für genau dieses Setup. Sie besteht aus einem PDF mit 23 Seiten und Runbooks, also Schritt-für-Schritt-Anleitungen für Aufbau und Betrieb. Der Preis liegt bei 149,00 EUR inklusive Umsatzsteuer, die Kaufstrecke ist seit dem 09.08.2026 live. Eine zweite Edition, 002 PRIVATE AI SERVER mit 28 Seiten, setzt die Reihe fort.

Jedes PDF wird personalisiert ausgeliefert, mit Wasserzeichen und Lizenz-ID, dazu kommt ein signiertes Manifest. So lässt sich nachvollziehen, welche Ausgabe zu welcher Lizenz gehört. Grundlage des Bauplans sind zwei Referenz-Stacks, die reproduziert wurden, sowie ein unabhängiger Audit-Lauf am 09.08. mit null Blockern.

Der Bauplan richtet sich an Technikverantwortliche, die ein solches System selbst aufsetzen oder einen Dienstleister dabei bewerten wollen, und an Geschäftsführungen, die verstehen möchten, was sie da eigentlich beauftragen.

Wie ZEHN X Qualität misst

Ein RAG-System, das mal richtig und mal falsch antwortet, ist im Betrieb wertlos. Deshalb gehören zum Bauplan Messgrössen, die wir im Referenzsystem als Baseline festgelegt haben:

• Benchmark mit 100 Fällen: 72 einfache, 20 mittlere und 8 schwere Fragen. So zeigt sich nicht nur, ob Standardfragen sitzen, sondern auch, wo das System bei komplexen Fällen an Grenzen kommt.
• 20 Golden Answers als Regressionsgate: 20 Fragen mit festgelegter Soll-Antwort. Fällt nach einer Änderung eine davon durch, geht die Änderung nicht live. Das Gate ist fail-closed, im Zweifel wird also gestoppt.
• Budget 25 USD pro Woche: eine feste Kostenobergrenze für den laufenden Betrieb im Referenzsystem. Kosten werden so zur Kennzahl und nicht zur Überraschung am Monatsende.
• p95-Antwortzeit 30 Sekunden: 95 von 100 Antworten kommen innerhalb von 30 Sekunden. Gemessen werden die langsamen Fälle, nicht der Durchschnitt.
• Canary 10 bis 25 %: Eine neue Version bekommt zunächst nur einen kleinen Teil der Anfragen. Erst wenn sie dort sauber läuft, übernimmt sie den Rest.

Für die Geschäftsführung heisst das: Sie bekommen Zahlen, an denen Sie das System oder einen Dienstleister messen können. Für Technikverantwortliche heisst es: Die Messlatte steht fest, bevor die erste Änderung eingespielt wird.

Was Sie jetzt tun können

Drei Schritte, die Sie ohne Werkzeugentscheidung sofort gehen können:

1. Klären Sie intern, welche Dokumente ein solches System zuerst abdecken soll und wer die Antworten fachlich prüft. Zwanzig typische Fragen mit bekannter Antwort sind ein guter Start für eigene Golden Answers.
2. Legen Sie fest, wo das System laufen darf: eigenes Rechenzentrum oder Anbieter in Deutschland. Diese Entscheidung gehört vor jede Werkzeugwahl.
3. Lesen Sie den Bauplan und prüfen Sie ihn gegen Ihre Anforderungen: SYSTEM EDITION 001 PRIVATE RAG auf zehnx.me. Fragen dazu beantworten wir unter tom@zehnx.me.