Comment déboguer les réponses du chatbot

Examiner l’historique du chatbot avec les journaux détaillés

FlowHunt fournit un historique des interactions du chatbot, vous permettant d’examiner des informations de journal détaillées pour chaque session de discussion. Si certains composants, comme le Document Retriever, ont été utilisés pendant une conversation, les journaux en mode détaillé l’indiqueront, y compris les documents découverts et exploités pour composer la réponse du chatbot.

Où accéder aux journaux détaillés ?

1. Dans votre espace de travail FlowHunt, ouvrez l’Historique depuis le menu latéral ou utilisez ce lien : https://app.flowhunt.io/aistudio/chatbot-history
2. Utilisez les filtres disponibles. Il est recommandé d’utiliser au moins le filtre de session pour préciser la période à vérifier et ainsi affiner les résultats.
3. Ouvrez une conversation spécifique.
4. Passez de Simple à Détail en haut à gauche de l’écran.
5. Recherchez les entrées Tool Call et voyez si (et quel) outil a été utilisé, avec les résultats détaillés.

Résoudre les problèmes identifiés dans les réponses du chatbot

Si vous constatez que le chatbot a fourni une information incorrecte ou sous-optimale alors que l’information correcte est disponible, suivez ces étapes pour diagnostiquer et améliorer les résultats.

• Vérifiez si le Document Retriever a été utilisé. Si l’historique détaillé indique que le Document Retriever n’a pas été utilisé, mettez à jour le prompt système du composant agent appelant d’outils pour vous assurer qu’il exploite toujours le Document Retriever lors de la construction des réponses. Vous pouvez renforcer le prompt en ajoutant des instructions telles que :

  <core_instructions>
  Utilisez TOUJOURS Tool Call et exploitez "Document Retriever" pour fournir des réponses concises avec des URLs issues de Document Retriever pour plus de détails.
  </core_instructions>
  

  Cela permettra au chatbot de rechercher et d’incorporer vos documents et articles issus des Schedules comme source lors de la composition des réponses, minimisant ainsi le risque de fournir une information incorrecte ou sous-optimale basée uniquement sur ses données pré-entraînées.

• Examinez les documents récupérés. Si le journal détaillé indique que le Document Retriever a été utilisé mais qu’il a renvoyé des articles différents ou non pertinents, envisagez les actions suivantes :

  • Améliorez votre base de connaissances : Ajoutez de nouveaux articles ou enrichissez ceux existants avec des mots-clés et expressions susceptibles d’apparaître dans les questions des clients. Cela accroît la probabilité que la bonne information soit récupérée.
  • Affinez les métadonnées des articles : Assurez-vous que les articles possèdent des titres, résumés et tags pertinents pour améliorer leur découvrabilité par le composant Document Retriever.
  • Créez des FAQ : Pour les questions courantes ou récurrentes, créez des entrées FAQ dédiées avec les bonnes réponses. Cela garantit que le chatbot pourra facilement récupérer et présenter la bonne information à l’avenir.
  • Vérifiez les instructions du prompt système : Pour les situations où le chatbot doit adopter un comportement spécifique (déclencher un email, transférer vers un agent, répondre de façon particulière…), essayez de mettre à jour le prompt système du composant agent appelant d’outils en y ajoutant des instructions spécifiques comme :

  <case_specific_instructions>
  - Problèmes avec VOTRE_NOM_DE_PRODUIT :
    - Demandez poliment à l’utilisateur de fournir le nom de son compte au format : compte.domaine.com.
    - Une fois le nom de compte fourni, utilisez immédiatement l’outil "LiveAgent Human Assist" pour transférer la conversation à un agent du support humain.
  </case_specific_instructions>
  

Revue régulière des réponses du chatbot

Surtout durant les premières semaines après la mise en place initiale, il est conseillé aux clients de mettre en place une routine de revue des réponses du chatbot afin d’identifier toute réponse incorrecte ou sous-optimale.

Astuce : Utilisez le taggage

Le taggage directement dans l’historique du chatbot aide à organiser et suivre les cas déjà vérifiés, ainsi que ceux nécessitant une analyse ou amélioration supplémentaire.

• Tagguez les conversations déjà vérifiées pour éviter de les revoir plusieurs fois.
• Tagguez les conversations problématiques pour un accès rapide.
• Utilisez des tags tels que ok, à revoir, incorrect, ou d’autres tags personnalisés selon vos besoins.