8 Milliarden Stunden Suche: Warum klassische RAG-Systeme in Unternehmen scheitern

Die Kurzantwort

25 % der Arbeitszeit deiner Wissensarbeiter geht für die Suche nach Informationen drauf — gemessen von Atlassian an 12.000 Wissensarbeitern in sechs Ländern, Deutschland inklusive. Das liegt nicht an deinen Leuten und nicht an SharePoint. Es liegt daran, dass die meisten Wissens-Systeme nur eine von drei Fragen-Klassen beantworten können. „Was steht zu X?" funktioniert. „Wie hängt X mit Y zusammen?" und „Wie viele offene X hat Y heute?" nicht. Genau dort kippt jedes ChatGPT-für-Firmen-Projekt. Die Lösung ist keine bessere Suche. Es ist eine hybride Architektur aus drei Bauteilen.

Warum 25 % Suchzeit kein SharePoint-Problem ist

Rechne mit. Atlassian misst 25 % Suchzeit bei 12.000 Befragten in sechs Ländern. Das IAB beziffert die durchschnittliche Jahresarbeitszeit in Deutschland 2024 auf 1.332 Stunden. Bei rund 24 Millionen Wissensarbeitern im DACH-Raum landest du bei 8 Milliarden Stunden Suche pro Jahr. Sechs Millionen Vollzeit-Sucher. In einem 50-Mann-Mittelständler heißt das: zwölfeinhalb deiner Leute arbeiten täglich nicht am Produkt, sondern an „Wo war das nochmal?".

Und jetzt der Teil, den die Atlassian-Studie nicht sagt. Das Problem ist nicht dein Modell. Es ist die Architektur dahinter. Drei Fragen-Typen entscheiden im Tagesgeschäft, ob ein KI-System nützt:

1. „Was steht zu X?" — eine Klausel im Mandatsvertrag, ein Absatz in der Reisekostenrichtlinie. Eine Vektorsuche findet das.
2. „Wie hängt X mit Y zusammen?" — Ist der neue Mandant eine Konzerntochter eines Gegners aus 2019? Die Antwort liegt in keinem einzigen Dokument.
3. „Wie viele offene X hat Y, Stichtag heute?" — Honorarstand pro Mandant. Steht nicht im PDF. Liegt in DATEV oder im ERP.

Vektor-RAG beantwortet Frage eins. Frage zwei und drei sind die Mehrheit, und genau dort scheitern die meisten Piloten.

Drei Bauteile statt einem

Die ehrliche Architektur hat drei spezialisierte Bauteile mit unterschiedlichen Aufgaben.

Der Bibliothekar — Vektordatenbank für Texte

Stell dir einen Bibliothekar vor. Du gibst ihm einen Satz, er findet inhaltlich ähnliche Texte. Vertrag, Vereinbarung, Kontrakt landen im selben Regal. Technisch: Dokumente werden in Chunks zerlegt, in Vektoren übersetzt, ähnliche Chunks an das Sprachmodell weitergegeben. Das glänzt bei allem, was in einem einzigen Dokument beantwortbar ist. Es kippt, sobald die Frage Beziehungen braucht. Eine Stanford-Studie hat 2024 die führenden KI-Tools für Anwälte getestet — Halluzinationsraten zwischen 17 und 33 Prozent, trotz Marketing als „halluzinationsfrei".

Der Archivar — Graphdatenbank für Beziehungen und Zeit

Der Archivar weiß nicht nur, wo etwas steht. Er weiß, wer mit wem, was mit was, in welcher Reihenfolge. Knoten sind Dinge: Mandanten, Verfahren, Personen, Dokumente. Kanten sind Beziehungen: vertritt, ist Tochter von, ersetzt. Wenn du fragst „Hatten wir je einen Fall, in dem eine Konzerntochter unseres neuen Mandanten Gegner war?", läuft der Archivar Pfade ab, die kein Bibliothekar je findet. Microsoft Research zeigt: Graph-Antworten gewinnen bei komplexen Fragen den Vergleich gegen Vektor-RAG in 72 bis 83 Prozent der Fälle. Zweite Killer-Anwendung: Versionierung. Welche Vertragsfassung galt im Mai 2024? Der Bibliothekar findet drei Versionen und weiß nicht, welche zählt. Der Archivar weiß es, weil zwischen den Versionen Zeitkanten gespannt sind.

Der Buchhalter — Text-to-SQL für Zahlen mit Stichtag

„Wie viele offene Mandate hat Kollege Müller, und wie hoch ist der Honorarstand?" Diese Zahl steht in keinem PDF. Sie liegt in DATEV, im ERP, in einer relationalen Datenbank. Du schreibst die Frage in deutscher Sprache, die KI bekommt dazu das Datenbankschema und übersetzt deine Frage in eine SQL-Abfrage. Drei Sekunden später hast du das Ergebnis. Stichtag-exakt. Auf den Cent. Kein Bauchgefühl eines Sprachmodells, sondern ein deterministisches Ergebnis aus der Datenbank. Vorausgesetzt, die KI hat die richtigen Tabellen erwischt. Genau deshalb braucht Text-to-SQL Guardrails: freigegebene Schemata, geprüfte Kennzahlenlogik, Review-Modus für kritische Zahlen.

Der vierte Baustein entscheidet, welcher antworten muss

Drei Bauteile reichen nicht. Vor allen drei sitzt eine kleine Schicht. Manche nennen sie Router, manche Orchestrator. Ihr Job: Frage lesen, Typ erkennen, an den richtigen Pfad schicken. Bei einer einfachen Frage geht alles an den Bibliothekar. Bei einer komplexen werden alle drei parallel angesprochen, und eine Synthese-Schicht fügt am Ende eine Antwort zusammen — mit Quelle, Datum, Aktenzeichen.

Das ist die hybride Architektur. Erst die Frage verstehen, dann den Pfad wählen, dann die Quellen synthetisieren. Wer eine Architektur baut, die nur eine Form abbilden kann, hat keine Wissensbasis. Er hat eine Liste mit Sucheingaben. Und das nächste Frontier-Modell von OpenAI oder Anthropic wird daran nichts ändern. Auch das übernächste nicht.

Was das für deine Anbieter-Auswahl heißt

Wenn dir jemand ein „KI-Wissensmanagement" zeigt, frag drei Dinge: Wie beantwortet ihr eine Frage, die mehrere Dokumente verknüpfen muss? Wie liefert ihr eine Zahl mit Stichtag aus dem ERP? Und welche Schicht entscheidet, welches Bauteil eure Frage bearbeitet? Wenn die Antwort nur „Vektordatenbank" ist, weißt du, dass du eine Suchmaske kaufst. Wenn die Antwort „Bibliothekar, Archivar und Buchhalter mit Router davor" ist, redet ihr über eine Architektur.

Ich baue diese Architektur gerade mit Pilotkunden. Sie ist kein Produkt von der Stange — sie wird im Pilot verprobt und gemeinsam geschärft. Wer sehen will, wie die drei Bauteile in der Praxis zusammenspielen, findet die Mechanik im Detail im neuen Video auf YouTube.

Häufige Fragen

Reicht mir ChatGPT auf meinen Dokumenten nicht aus? Für Fragen vom Typ „Was steht zu X?" ja. Für die anderen zwei Fragen-Typen nicht. ChatGPT auf eigene Dokumente ist im Kern eine Vektorsuche. Sie findet ähnliche Textstellen. Sie kennt keine Beziehungen zwischen Mandanten und keine Zahlen mit Stichtag aus deinem ERP. Wenn deine wertvollsten Fragen relational oder rechnerisch sind, scheitert ChatGPT zuverlässig — unabhängig vom Modell dahinter.

Was unterscheidet Vektordatenbank und Graphdatenbank in einem Satz? Eine Vektordatenbank findet ähnliche Texte, eine Graphdatenbank findet explizite Beziehungen zwischen Dingen. Stark vereinfacht: Der Bibliothekar bringt dir Bücher, die ähnlich klingen. Der Archivar zeichnet dir eine Karte, wer mit wem verbunden ist.

Brauche ich wirklich alle drei Bauteile, oder reicht einer für den Anfang? Du startest sinnvoll mit dem Bauteil, das deine wertvollste Frage-Klasse abdeckt. Bei einer Kanzlei ist das meist der Archivar für Konfliktprüfung und Versionierung. Bei einem Steuerberater oft der Buchhalter für Mandantenkennzahlen. Wichtig ist, dass die Architektur von Anfang an für alle drei vorgesehen ist. Nachträglich einen Graph in ein reines Vektor-System zu schrauben ist teurer als einmal sauber zu planen.

Warum löst das nächste Frontier-Modell mein Problem nicht? Weil das Problem keine Modell-Frage ist. Frontier-Modelle werden besser im Formulieren, im Verstehen, im Schlussfolgern. Sie werden nicht besser darin, eine Beziehung zwischen Mandant A und Konzerntochter B zu erkennen, die in deinem System überhaupt nicht erfasst ist. Wenn die Information nicht strukturiert vorliegt, kann auch das beste Modell sie nicht herleiten.

Über den Autor

Andreas Rössler ist Product Owner und AI Architect mit 9+ Jahren Erfahrung an der Schnittstelle Produkt, Technik und KI. Er hat KI in regulierten Branchen produktiv gebracht — unter anderem einen BaFin-konformen Voicebot mit 40 % Fallabschluss und ein Beratungs-Cockpit, das die Vorbereitungszeit von 30 auf 5 Minuten reduziert. Mehr unter andreasroessler.com.