Wie man Chatbot-Antworten debuggt

Chatbot-Historie mit ausführlichem Logging überprüfen

FlowHunt bietet eine Historie der Chatbot-Interaktionen, sodass du detaillierte Protokollinformationen zu jeder Chatsitzung einsehen kannst. Wenn während eines Chats bestimmte Komponenten wie der Document Retriever verwendet wurden, zeigen die Protokolle im ausführlichen Modus dies an – inklusive der Dokumente, die gefunden und zur Erstellung der Chatbot-Antwort genutzt wurden.

Wo finde ich die ausführlichen Protokolle?

1. Öffne in deinem FlowHunt-Workspace den Bereich „Verlauf“ im linken Seitenmenü oder nutze diesen Link: https://app.flowhunt.io/aistudio/chatbot-history
2. Verwende die verfügbaren Filter. Es wird empfohlen, mindestens den Sitzungsfilter zu nutzen, um den gewünschten Zeitraum einzugrenzen und die Ergebnisse zu präzisieren.
3. Öffne ein bestimmtes Gespräch.
4. Wechsle oben links auf dem Bildschirm von „Einfach“ zu „Ausführlich“.
5. Suche nach „Tool Call“-Einträgen und prüfe, ob (und welches) Tool verwendet wurde, einschließlich detaillierter Ergebnisse.

Identifizierte Probleme in Chatbot-Antworten beheben

Wenn du feststellst, dass der Chatbot trotz vorhandener korrekter Informationen falsche oder suboptimale Auskünfte gibt, folge diesen Schritten, um die Ergebnisse zu verbessern.

• Überprüfe, ob der Document Retriever verwendet wurde. Wenn die ausführliche Historie zeigt, dass der Document Retriever nicht genutzt wurde, passe den System-Prompt der Tool-Calling-Agent-Komponente an, damit immer der Document Retriever bei der Antwortgenerierung genutzt wird. Du kannst den Prompt stärken, indem du Anweisungen wie folgende hinzufügst:

  <core_instructions>
  IMMER Tool Call verwenden und „Document Retriever“ nutzen, um prägnante Antworten mit URLs aus dem Document Retriever für weitere Details bereitzustellen.
  </core_instructions>
  

  Das stellt sicher, dass der Chatbot deine Dokumente und Artikel aus Schedules als Quellen für die Antworten heranzieht und so das Risiko minimiert, dass falsche oder suboptimale Informationen allein auf Basis seiner vortrainierten Daten gegeben werden.

• Überprüfe die abgerufenen Dokumente. Wenn das ausführliche Protokoll zeigt, dass der Document Retriever genutzt wurde, aber andere oder irrelevante Artikel zurückgegeben hat, beachte Folgendes:

  • Verbessere deine Wissensdatenbank: Füge neue Artikel hinzu oder erweitere bestehende, um Schlüsselbegriffe und Formulierungen zu integrieren, die in Kundenfragen wahrscheinlich vorkommen. Das erhöht die Chance, dass die richtigen Informationen abgerufen werden.
  • Verfeinere die Metadaten der Artikel: Stelle sicher, dass Artikel relevante Titel, Zusammenfassungen und Tags haben, um ihre Auffindbarkeit durch die Document Retriever-Komponente zu erhöhen.
  • Erstelle FAQs: Für häufige oder wiederkehrende Fragen solltest du eigene FAQ-Einträge mit den richtigen Antworten anlegen. So kann der Chatbot künftig schnell und einfach die richtigen Informationen abrufen und präsentieren.
  • Überprüfe die System-Prompt-Anweisungen: Für Situationen, in denen der Chatbot sich besonders verhalten oder etwa E-Mails auslösen, an einen Agenten weiterleiten oder auf bestimmte Art antworten soll, passe den System-Prompt der Tool-Calling-Agent-Komponente an, indem du fallbezogene Anweisungen wie diese hinzufügst:

  <case_specific_instructions>
  - Probleme mit DEIN_PRODUKTNAME:
    - Bitte den Nutzer höflich, seinen Kontonamen im Format: konto.domain.com anzugeben.
    - Erst nachdem der Nutzer seinen Kontonamen angegeben hat, nutze sofort das Tool „LiveAgent Human Assist“, um den Chat an einen menschlichen Support-Agenten zu übertragen.
  </case_specific_instructions>
  

Regelmäßige Überprüfung der Chatbot-Antworten

Gerade in den ersten Wochen nach der Einführung empfehlen wir, eine Routine zur Überprüfung der Chatbot-Antworten einzuführen, um fehlerhafte oder suboptimale Antworten frühzeitig zu erkennen.

Tipp: Nutze Tagging

Das Tagging direkt in der Chatbot-Historie hilft dabei, Fälle zu organisieren und zu verfolgen, die du bereits geprüft hast, sowie solche, die weiterer Analyse oder Optimierung bedürfen.

• Markiere Gespräche, die du bereits kontrolliert hast, um Doppelprüfungen zu vermeiden.
• Kennzeichne problematische Gespräche für einen schnellen Zugriff.
• Verwende Tags wie ok, muss geprüft werden, fehlerhaft oder eigene, für deine Zwecke passende Tags.