Zum Inhalt springen

Warum erfindet unser Firmen-Chatbot Preise, Bestände und Regeln?

  • Startseite
  • Blog
  • Warum erfindet unser Firmen-Chatbot Preise, Bestände und Regeln?
Warum erfindet unser Firmen-Chatbot Preise, Bestände und Regeln?
Kurze Antwort

Wenn Ihr Chatbot Preise, Rückgaberegeln oder Lagerbestände selbstbewusst falsch angibt, liegt das Problem meist nicht am Modell selbst, sondern am Kontext, den es erhält. Sprachmodelle füllen Lücken in ihrer Wissensbasis mit dem statistisch wahrscheinlichsten Text; NIST bezeichnet dieses Verhalten als „Confabulation“. Die dauerhafte Lösung sind saubere, aktuelle Quelldaten, eine RAG-Pipeline mit sinnvollem Chunking und hybrider Suche, verpflichtende Quellenangaben, die ausdrückliche Erlaubnis, „Ich weiß es nicht“ zu sagen, sowie regelmäßige Evaluierung.

Symptome: Der Bot ist selbstsicher, aber falsch

  • Er sagt einem Kunden „Sie haben bei diesem Produkt ein 30-tägiges bedingungsloses Rückgaberecht.“, ein Satz, der in Ihrer veröffentlichten Rückgaberichtlinie nirgends steht.
  • Er nennt für ein aktualisiertes Produkt den alten Preis oder vermischt zwei Preislisten und erzeugt eine dritte Zahl, die nirgends vorkommt.
  • Er sagt „Auf Lager, Versand noch heute.“, obwohl der Bot gar nicht an das Lagersystem angebunden ist.
  • Dieselbe Frage zweimal gestellt ergibt zwei widersprüchliche Antworten.
  • Auf Nachfrage nach einer Quelle nennt er einen Dokumentnamen oder eine Seitenzahl, die es nicht gibt.
  • Ein Mitarbeiter kann Informationen aus einem Dokument, für das er keine Berechtigung hat (eine Gehaltstabelle, eine Angebotsmarge), einfach durch eine Frage an den Bot erfahren.

Ursache: Warum erfindet das Sprachmodell Dinge?

Das im Juli 2024 veröffentlichte Generative-AI-Profil von NIST (NIST AI 600-1) definiert „Confabulation“ als das selbstsichere Präsentieren fehlerhafter oder falscher Inhalte durch generative KI und stellt fest, dass dies eine natürliche Folge der Bauweise dieser Modelle ist: Sie erzeugen Ausgaben, die der statistischen Verteilung ihrer Trainingsdaten nahekommen. Das Modell antwortet also nicht wie eine Datenbank mit „Kein Datensatz gefunden“, sondern formuliert einen flüssigen, überzeugenden Satz. Ihre firmenspezifischen Preise, Bestände und Regeln sind nicht in den Trainingsdaten des Modells enthalten; fehlen sie auch im Kontext, wird die Lücke mit einer Vermutung gefüllt.

Die etablierte Antwort darauf ist RAG (Retrieval-Augmented Generation). Das Paper von Lewis et al. aus dem Jahr 2020 kombinierte das in den Modellgewichten gespeicherte „parametrische“ Gedächtnis mit einem „nicht-parametrischen“ Gedächtnis, einem durchsuchbaren Dokumentindex; laut dem Paper erzeugt dieser Ansatz spezifischeren und faktentreueren Text und erleichtert die Nachverfolgung, auf welcher Quelle eine Antwort beruht. RAG ist jedoch nur so gut wie die abgerufenen Textabschnitte. Ein schlecht gespeistes RAG-System macht das Modell mit falschem Kontext nur noch selbstsicherer.

Warum „Wir laden einfach unsere PDFs hoch“ nicht funktioniert

  • Schlechtes Chunking: Tabellen werden zeilenweise zerteilt, der Produktname landet in einem Abschnitt, der Preis in einem anderen. Das Modell ordnet sie durch Raten zu.
  • Veraltete und widersprüchliche Dokumente: Die Preisliste vom Vorjahr liegt im selben Index wie die aktuelle; was die Suche zuerst liefert, bestimmt die Antwort.
  • Fehlgeschlagener Abruf: Der Nutzer schreibt „Rückgabe“, das Dokument spricht von „Widerrufsrecht“. Die Dokumentation von Microsoft zu Azure AI Search nennt die Diskrepanz zwischen Nutzerformulierung und Dokumentterminologie als eine der zentralen Herausforderungen von RAG.
  • Keine Live-Daten: Sich ständig ändernde Informationen wie Bestände und Preise liegen im ERP, nicht in einem statischen PDF. Ein PDF veraltet ab dem Moment des Hochladens.
  • Keine Zugriffskontrolle: Landen alle Dokumente in einem Index, kann der Bot jedem alles vorlesen. Dasselbe Microsoft-Dokument betont, dass Nutzer nur Inhalte abrufen dürfen, für die sie berechtigt sind, was durch Security Trimming auf Dokumentebene erreicht wird.
  • Fehlende Anweisungen: Sagt der Systemprompt nicht „Antworte nur aus den bereitgestellten Quellen und sage, dass du es nicht weißt, wenn die Antwort dort fehlt“, füllt das Modell die Lücke mit Allgemeinwissen.

Schritt-für-Schritt-Lösung: RAG richtig aufbauen

  1. Erstellen Sie ein Fragen-Inventar: Listen Sie die Fragetypen auf, die der Bot beantworten muss, und legen Sie für jeden eine einzige „verlässliche Quelle“ fest. Zum Beispiel die ERP-Preistabelle für Preise, die veröffentlichte Richtlinienseite für Rückgaben und den Live-Bestandsdienst für Verfügbarkeiten.
  2. Bereinigen Sie die Quelldaten: Entfernen Sie alte Versionen aus dem Index; ergänzen Sie jedes Dokument um Version, Gültigkeitsdatum und Inhaltsverantwortlichen. Widersprechen sich zwei Dokumente, entscheidet der Inhaltsverantwortliche, nicht der Bot.
  3. Holen Sie veränderliche Daten über Tools: Definieren Sie für Preise und Bestände statt eines Dokuments einen schreibgeschützten API-Aufruf (Tool- bzw. Function-Calling) an das ERP. So liest das Modell die Zahl aus dem System, statt sie zu erzeugen.
  4. Chunken Sie entlang der Inhaltsstruktur: Halten Sie Überschriften, Abschnitte und Tabellenzeilen zusammen; versehen Sie jeden Abschnitt mit Metadaten wie Name des Quelldokuments, Abschnittsüberschrift und Datum.
  5. Nutzen Sie hybride Suche und Re-Ranking: Führen Sie Stichwortsuche und Vektorsuche gemeinsam aus und ordnen Sie die Ergebnisse semantisch neu. Ergänzen Sie ein Synonymverzeichnis für Begriffe wie Rückgabe, Widerruf und Retoure und legen Sie einen Mindestschwellenwert für schwach bewertete Treffer fest.
  6. Setzen Sie Zugriffskontrolle zur Abfragezeit durch: Hängen Sie jedem Abschnitt Berechtigungsmetadaten an und filtern Sie die Ergebnisse nach der Identität des fragenden Nutzers.
  7. Schärfen Sie den Systemprompt: Die Dokumentation von Anthropic hält fest, dass es Halluzinationen verringert, dem Modell ausdrücklich zu erlauben, „Ich weiß es nicht“ zu sagen, Antworten auf direkte Zitate zu stützen und jede Aussage mit einer Quelle belegen zu lassen, sie aber nicht vollständig beseitigt. Eine Anweisung wie die folgende ist ein guter Ausgangspunkt.
  8. Erstellen Sie ein Evaluierungsset: Stellen Sie echte Kundenfragen mit entfernten personenbezogenen Daten und bekannten richtigen Antworten zusammen. Nehmen Sie auch Fragen auf, die der Bot nicht beantworten soll. Führen Sie das Set nach jeder Änderung aus und vergleichen Sie die Quoten richtiger Antworten, richtiger Quellen und korrekter „Ich weiß es nicht“-Antworten.
  9. Ergänzen Sie Leitplanken und menschliche Freigabe: Leiten Sie Antworten, die Verpflichtungen begründen, etwa Preisangebote, Rückgabefreigaben oder Vertragsauslegungen, an einen Menschen weiter. Ergänzen Sie eine einfache Ausgabeprüfung, die Zahlen in der Antwort mit der Quelle abgleicht.
  10. Protokollieren Sie: Speichern Sie Frage, abgerufene Abschnitte, gegebene Antwort und Nutzerfeedback gemeinsam. So erkennen Sie, ob eine falsche Antwort aus dem Abruf, der Quelle oder den Anweisungen stammt. Legen Sie die Aufbewahrungsdauer gemäß Ihren Datenschutzpflichten fest.
Du bist der Kundenassistent von [Firma].
- Antworte ausschließlich auf Grundlage der Informationen in <quellen>.
- Beende jeden Satz mit der ID der verwendeten Quelle als [quellen-id].
- Preis- und Bestandsangaben nur aus dem Tool bestand_preis_abfragen übernehmen; niemals schätzen.
- Enthalten die Quellen keine Antwort, sage: "Dazu habe ich keine geprüfte Information, ich verbinde Sie mit einem Mitarbeiter."
- Keine Rückgabefreigaben, Rabatte oder Vertragsauslegungen; leite solche Anfragen an einen Menschen weiter.

Anweisungen allein genügen nicht. Liefert der Abruf den falschen Abschnitt, gibt selbst der beste Prompt die falsche Antwort, samt Quellenangabe. Messen Sie zuerst die Suchqualität mit dem Evaluierungsset.

Dauerhafte Vorbeugung

  • Inhaltsverantwortung: Jede Dokumentgruppe braucht einen Verantwortlichen; wird ein Dokument aktualisiert, sollte der Index inkrementell und automatisch nachziehen.
  • Regressionstests: Führen Sie das Evaluierungsset bei jeder Änderung von Modellversion, Systemprompt oder Chunking-Einstellungen erneut aus; sinken die Ergebnisse, geht die Änderung nicht live.
  • Bericht über Antworten ohne Quelle: Werten Sie wöchentlich Antworten ohne Quellenangabe und „Ich weiß es nicht“-Antworten aus; zusammen ergeben sie Ihre Liste fehlender Inhalte.
  • Regelmäßige menschliche Prüfung: Lassen Sie zufällig ausgewählte Gespräche von einer Fachperson prüfen. Behandeln Sie Risikomanagement wie im NIST AI RMF als fortlaufenden Prozess, nicht als einmalige Aufgabe.
  • Transparenz für Nutzer: Weisen Sie klar darauf hin, dass der Bot ein KI-Assistent ist, bei welchen Themen er helfen kann und wie man einen menschlichen Ansprechpartner erreicht.

Wann sollten Sie einen Experten hinzuziehen?

Wenn der Bot Kunden Auskunft über Preise, Bestände oder Verträge gibt, wenn Ihre Daten über mehrere Systeme wie ERP und Dateiserver verstreut sind oder wenn Mitarbeiter mit unterschiedlichen Berechtigungen denselben Assistenten nutzen, handelt es sich eher um ein Daten- und Architekturprojekt als um eine Prompt-Korrektur. Genau dieses Bild sehen wir in der Praxis bei Unternehmen in Denizli meistens: Das Modell ist gut, die Quelldaten sind verstreut. Im Rahmen seiner KI-basierten Geschäftslösungen unterstützt Workas Sie bei der Aufbereitung der Quelldaten, der ERP-Integration, berechtigungsbewussten RAG-Implementierungen und dem Aufbau von Evaluierungssets.

Häufig gestellte Fragen

Löst ein größeres oder neueres Modell das Halluzinationsproblem?

Nicht allein. NIST stellt fest, dass Confabulation eine natürliche Folge der Bauweise generativer Modelle ist. Fehlen firmenspezifische Informationen im Kontext, rät auch das beste Modell; die eigentliche Verbesserung kommt durch korrekte Quelldaten und guten Abruf.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Fine-Tuning verändert Stil und Verhalten des Modells; RAG fügt bei jeder Frage aktuelle Dokumente in den Kontext ein. Für sich häufig ändernde Preise, Bestände und Regeln eignen sich RAG und Tool-Calling besser, weil das Modell bei Datenänderungen nicht neu trainiert werden muss.

Sinkt die Kundenzufriedenheit, wenn der Bot „Ich weiß es nicht“ sagt?

Einen falschen Preis oder ein nicht existierendes Rückgaberecht zu versprechen, ist deutlich teurer. Kombinieren Sie „Ich weiß es nicht“ mit einer Übergabe an einen Mitarbeiter, bleibt der Kunde nicht ratlos zurück und Sie erkennen fehlende Inhalte.

Verhindern verpflichtende Quellenangaben Erfindungen vollständig?

Nein, aber sie machen Antworten überprüfbar. Auch Anthropic weist darauf hin, dass diese Techniken Halluzinationen verringern, aber nicht beseitigen; kritische Antworten brauchen weiterhin menschliche Freigabe und eine Ausgabeprüfung.

Quellen

  1. Lewis et al. (2020) – Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv)
  2. NIST AI 600-1 – AI RMF: Generative Artificial Intelligence Profile
  3. Microsoft Learn – RAG and Generative AI (Azure AI Search)
  4. Anthropic – Reduce hallucinations

Jetzt starten

Lassen Sie uns zusammenarbeiten!

Planen wir gemeinsam die IT-Anforderungen Ihres Unternehmens – wir finden schnell die passende Lösung.

x

Workas Software Technology bietet Unternehmen in Denizli seit 2002 ERP, Cybersicherheit, Netzwerke, Server und Backup, individuelle Software sowie KI-Lösungen.

Adresse
Kınıklı, Hüseyin Yılmaz Cd. No:67,
B Blok Z06, 20160 Pamukkale/Denizli, Türkei
Kontakt aufnehmen
0549 669 99 06
0535 089 29 29
Öffnungszeiten
Mo - Sa: 8:00 - 18:00 Uhr