Wie ZEHN X KI-Systeme prüft, bevor sie in Betrieb gehen

Ein KI-System, das in der Demo überzeugt, sagt noch nichts darüber, wie es sich im Betrieb verhält. Die Fragen aus Geschäftsführung, IT und Compliance sind andere: Was kostet es pro Woche? Antwortet es verlässlich? Was passiert bei einem Update? Und womit weisen wir nach, dass wir das System im Griff haben? Für diese Fragen haben wir bei ZEHN X ein Prüfverfahren, das wir hier offenlegen.

Grundlage sind die Referenzsysteme unserer SYSTEM EDITIONS (001 PRIVATE RAG, 002 PRIVATE AI SERVER). Beide Referenz-Stacks wurden reproduziert, also ein zweites Mal nach Anleitung aufgebaut. Was sich nicht nachbauen lässt, ist aus unserer Sicht kein System, sondern ein Einzelfall.

Vier Prüfschritte

1. Golden Answers als Regressionsgate. 20 Fälle mit bekannter, geprüfter Antwort. Vor jeder Änderung am System, etwa neues Modell, neuer Prompt oder andere Datenbasis, laufen diese 20 Fälle durch. Das Gate ist fail-closed: Fällt ein Fall durch oder lässt sich die Prüfung nicht ausführen, geht die Änderung nicht live. Im Zweifel bleibt der alte Stand stehen, statt dass ein neuer falsch antwortet.

2. Benchmark in drei Schwierigkeitsstufen. 100 Fälle, davon 72 einfache, 20 mittlere und 8 schwere. Die Verteilung ist Absicht: Der Alltag besteht überwiegend aus einfachen Anfragen, aber die schweren Fälle entscheiden, ob jemand dem System vertraut. Wer nur die leichten Fälle misst, hat eine gute Zahl und wenig Aussage.

3. Budgets und Servicegrenzen als Betriebsbaseline. Im Referenzsystem gelten 25 USD Budget pro Woche, eine p95-Antwortzeit von 30 Sekunden und ein Canary von 10 bis 25 %. p95 heisst: 95 von 100 Anfragen sind schneller als 30 Sekunden. Canary heisst: Eine neue Version bekommt zuerst nur 10 bis 25 % des Verkehrs, der Rest läuft weiter auf dem bewährten Stand. Diese Grenzen stehen vor dem Betrieb fest, nicht danach.

4. Unabhängiger Audit-Lauf. Am 09.08.2026 hat ein unabhängiger Audit-Lauf das Referenzsystem geprüft, Ergebnis: 0 Blocker. Unabhängig heisst hier: nicht dieselbe Hand, die gebaut hat, nimmt ab.

Warum das für den Mittelstand zählt

Abnahme. Ein KI-Projekt ohne definierte Prüfkriterien lässt sich nicht abnehmen, nur beenden. Golden Answers und Benchmark liefern die Kriterien: Diese 20 Fälle müssen sitzen, diese 100 ergeben die Messlatte. Die Geschäftsführung bekommt ein Ja oder Nein statt eines Eindrucks aus der Vorführung.

Betriebsdokumentation. Die IT braucht Grenzen, die vorher feststehen: Was darf es kosten, wie schnell muss es sein, wie werden Änderungen ausgerollt. Budget, p95 und Canary sind genau diese Grenzen. Wer sie schriftlich hat, kann den Betrieb übergeben, Störungen einordnen und Vertretung organisieren.

Nachweis nach Art. 4 EU AI Act. Art. 4 richtet sich an Menschen: Wer KI-Systeme einsetzt, soll über ausreichende KI-Kompetenz verfügen. So lesen wir Art. 4, und dieser Text ist keine Rechtsberatung. Eine akkreditierte Zertifizierung verlangt der Artikel aus unserer Sicht nicht, wohl aber Nachweise: dokumentierte Schulungsinhalte, Teilnehmerlisten mit Datum, einen Wissensnachweis. Eine Betriebsdokumentation mit Prüffällen, Grenzen und Audit-Ergebnis ergänzt diese Nachweise um das konkrete System: Sie zeigt, dass Ihr Team versteht, was es kann und wo es endet.

Was ein Kunde im Projekt bekommt

Das Verfahren aus dem Referenzsystem ist die Vorlage für Umsetzungsprojekte, die auf zehnx.me zwischen 15.000 und 80.000 EUR liegen. Auf Ihr System und Ihre Daten übertragen heisst das:

• Golden Answers aus Ihren echten Fällen. Die Fachabteilung liefert Fragen mit bekannter richtiger Antwort, daraus entsteht das Regressionsgate.
• Ein Benchmark, dessen Schwierigkeitsstufen aus Ihrem Alltag stammen, nicht aus einem allgemeinen Testsatz.
• Eine Betriebsbaseline in Ihren Grössen: Wochenbudget, Antwortzeit, Ausrollverfahren, schriftlich und vor dem Start vereinbart.
• Ein Prüfprotokoll, das die Abnahme trägt und in die Betriebsdokumentation wandert.

Der Vorteil für Sie liegt weniger im einzelnen Schritt als in der Reihenfolge: Erst Kriterien, dann Bau, dann Abnahme gegen die Kriterien. Wer die Reihenfolge umkehrt, diskutiert am Ende über Geschmack.

Was Sie jetzt tun können

1. Prüfen Sie für Ihr laufendes oder geplantes KI-System vier Fragen: Welche Fälle müssen sitzen? Wie wird gemessen? Welche Grenzen gelten für Kosten und Antwortzeit? Wer nimmt unabhängig ab?
2. Sammeln Sie 20 Fälle aus dem Alltag Ihrer Fachabteilung mit bekannter richtiger Antwort. Das ist der Anfang jedes Regressionsgates, ganz ohne Technik.
3. Den Weg von Audit über Strategie zu Projekt und Betrieb finden Sie unter zehnx.me/unternehmen.