RAG-Systeme Mittelstand
RAG-Systeme für den Mittelstand: vom Prototyp in den Betrieb
Ein RAG-System (Retrieval-Augmented Generation) beantwortet Fragen auf Grundlage Ihrer eigenen Dokumente und nennt dabei die Quelle. Einen Prototyp dafür baut man an einem Nachmittag. Ein System, dem Ihre Mitarbeitenden im Alltag vertrauen, braucht mehr: messbare Qualität, saubere Zugriffsrechte und einen Betrieb, der auch in sechs Monaten noch funktioniert. Darauf haben wir uns spezialisiert.
Was ein RAG-System im Unternehmen leistet
Statt in Handbüchern, Wikis und Ticket-Systemen zu suchen, stellen Ihre Mitarbeitenden eine Frage und erhalten eine Antwort mit Verweis auf die Fundstelle. Das Sprachmodell erfindet dabei nichts, sondern formuliert aus den Textstellen, die das System vorher gefunden hat.
- Wissenssuche über interne Dokumentation, Richtlinien und Produktunterlagen
- Assistenz im Kundenservice mit Antwortentwürfen auf Basis Ihrer Wissensdatenbank
- Recherche in Verträgen, Normen und technischen Spezifikationen
- Einarbeitung neuer Mitarbeitender mit einem Assistenten, der die internen Abläufe kennt
Warum RAG-Prototypen selten in den Betrieb kommen
In Erstgesprächen sehen wir immer wieder dieselben Muster. Keines davon hat mit der Wahl des Sprachmodells zu tun.
- Der Prototyp läuft im Notebook mit fest eingebauten Prompts und ohne Versionierung. Beim ersten echten Deployment steigt die Fehlerrate sprunghaft.
- Es gibt keine Evaluation: keinen Referenzdatensatz, keine Retrieval-Metriken, keine Prüfung, ob Antworten belegt sind. Niemand kann sagen, ob eine Änderung das System verbessert oder verschlechtert.
- Zugriffsrechte fehlen: Der Assistent zeigt Inhalte, die die fragende Person im Original gar nicht sehen dürfte.
- Datenschutz wird nachgeschoben. Filter für personenbezogene Daten, Herkunftsnachweise und Löschbarkeit kommen erst kurz vor dem Start dazu und verzögern ihn um Monate.
Fünf Reifegrade vom Notebook bis zum Enterprise-Betrieb
Wir ordnen RAG-Systeme in fünf Stufen ein. Jede Stufe hat klare Kriterien, und erst wenn sie erfüllt sind, lohnt sich der nächste Schritt. Wo Ihr System heute steht, zeigt der kostenlose RAG-Reifegrad-Check mit fünf Fragen.
- Stufe 1, Notebook-Prototyp: Machbarkeit gezeigt, Prompts fest im Code, Vektorspeicher im Arbeitsspeicher
- Stufe 2, erste Produktivskizze: containerisiertes Backend, verwaltete Vektordatenbank, Basis-Logging
- Stufe 3, Evaluation: Referenzdatensatz mit 50 bis 200 Fragen, Trefferquote und Belegbarkeit werden bei jeder Änderung automatisch gemessen
- Stufe 4, Compliance: Filter für personenbezogene Daten in Ein- und Ausgabe, Herkunft jedes Textabschnitts, Löschbarkeit, EU-Hosting inklusive Modell-Inferenz
- Stufe 5, Enterprise-Betrieb: Mandantentrennung, Kosten pro Mandant, SLA-Monitoring, A/B-Tests für Prompt- und Modellwechsel, Runbooks für Störungen
So bauen wir RAG-Systeme
Die meiste Qualität entsteht nicht im Sprachmodell, sondern davor: beim Aufbereiten und Zerlegen der Dokumente und bei der Suche nach den richtigen Textstellen. Dort setzen wir an.
- Aufbereitung der Quellen: PDFs, Office-Dokumente, Wikis und Tickets, einschließlich Tabellen und Scans
- Chunking, das zu deutschen Dokumenten passt, und hybride Suche aus Stichwort- und Vektorsuche
- Evaluation mit einem Referenzdatensatz aus Ihren echten Fragen, bei jeder Änderung automatisch geprüft
- Rechtekonzept: Der Assistent zeigt nur, was die fragende Person auch im Original sehen darf
- Integration in Intranet, Microsoft Teams, Slack oder Ihre bestehende Anwendung
Datenschutz und Hosting
Für viele Unternehmen ist die wichtigste Frage, wo ihre Dokumente und Anfragen verarbeitet werden. Das klären wir vor der ersten Zeile Code.
- Hosting in der EU, auch für die Modell-Inferenz, auf Wunsch On-Premise mit selbst betriebenen Modellen
- Auftragsverarbeitungsverträge mit allen beteiligten Anbietern, dokumentiert
- Filter für personenbezogene Daten in Anfragen und Antworten
- Löschkonzept: Einzelne Dokumente und Textabschnitte lassen sich gezielt aus dem Index entfernen
Formate und Preise
Feste Einstiegspunkte statt offener Stundenkontingente. Vor jedem Schritt erhalten Sie ein schriftliches Angebot mit klarem Leistungsumfang.
- Architektur-Tag, ab 2.500 €: Review Ihres RAG-Prototyps oder Ihrer Planung, schriftliche Empfehlungen innerhalb von 48 Stunden
- Data- & AI-Readiness-Audit, ab 15.000 € (3 Wochen, Festpreis): Datenlage, Architektur und Compliance, mit 12-Monats-Roadmap
- Production-Platform-Build, ab 60.000 € (8 bis 16 Wochen): ein produktives RAG-System mit Evaluation, Rechtekonzept und Monitoring
- Eingebettetes Team, Preis auf Anfrage (6 bis 12 Monate): Betrieb und Weiterentwicklung Ihres Systems
Weiterlesen
- Kostenloser RAG-Reifegrad-Check: Wo steht Ihr System?
- Was kostet ein RAG-System?
- RAG-System entwickeln: vom PoC in Production
- Warum die meisten RAG-Prototypen nie Production erreichen
- DSGVO-konforme RAG-Pipeline: Architektur-Blueprint
- RAG vs. Fine-Tuning: Was Ihr Unternehmen wirklich braucht
- Chunking-Strategien für deutsche Dokumente
- Vector-DB-Auswahl: pgvector, Qdrant und Weaviate im Praxisvergleich
FAQ
Was kostet ein RAG-System?
Ein Prototyp ist schnell gebaut, die Kosten entstehen auf dem Weg in den Betrieb. Bei uns beginnt ein Architektur-Tag bei 2.500 €, ein produktives RAG-System mit Evaluation, Rechtekonzept und Monitoring bei 60.000 €. Dazu kommen laufende Kosten für Hosting und Modellnutzung, die wir vorab für Ihr erwartetes Anfragevolumen abschätzen.
Wie verhindern Sie, dass das System Antworten erfindet?
Das Modell antwortet nur auf Basis der gefundenen Textstellen und nennt sie als Quelle. Findet die Suche nichts Passendes, sagt das System das, statt zu raten. Ob das im Alltag hält, messen wir mit einem Referenzdatensatz und prüfen es bei jeder Änderung automatisch.
Können die Daten in Deutschland oder der EU bleiben?
Ja. Wir betreiben RAG-Systeme in der EU, einschließlich der Modell-Inferenz, und bei Bedarf vollständig On-Premise mit selbst gehosteten Open-Source-Modellen.
RAG oder Fine-Tuning: was passt besser?
Für Fragen zu Ihren eigenen, sich ändernden Dokumenten ist RAG fast immer die bessere Wahl. Inhalte lassen sich aktualisieren, ohne neu zu trainieren, und jede Antwort ist belegbar. Fine-Tuning lohnt sich eher, wenn ein Modell einen bestimmten Stil oder ein festes Ausgabeformat lernen soll.
Welche Vektordatenbank und welches Framework setzen Sie ein?
Das hängt von Datenmenge, Hosting-Vorgaben und Ihrem Team ab. Häufig nutzen wir pgvector oder Qdrant, die sich gut in der EU oder On-Premise betreiben lassen. Frameworks wie LangChain oder LlamaIndex setzen wir gezielt ein, nicht aus Prinzip.
Wir haben schon einen Prototyp. Können Sie darauf aufbauen?
Ja, das ist der häufigste Einstieg. Wir prüfen den Prototyp an einem Architektur-Tag, messen seine Qualität und zeigen, welche Schritte bis zum Betrieb fehlen.
Wie lange dauert es bis zum produktiven Einsatz?
Ein produktives RAG-System mit Evaluation, Rechtekonzept und Monitoring bauen wir in der Regel in 8 bis 16 Wochen. Wie lange genau, hängt von Zahl und Zustand Ihrer Quellen ab.
RAG-Erstgespräch vereinbaren
30 Minuten, kostenlos. Sie beschreiben Ihren Anwendungsfall und Ihre Dokumente, wir sagen Ihnen, wie ein RAG-System dafür aussehen würde und wo die Risiken liegen.
Weitere Leistungen