Hoe chatbotantwoorden debuggen

Bekijk de chatbothistorie met uitgebreide logging

FlowHunt biedt een geschiedenis van chatbotinteracties, waarmee je gedetailleerde loginformatie van elke chatsessie kunt bekijken. Als tijdens een gesprek specifieke componenten zijn gebruikt, zoals de Document Retriever, zal de log in uitgebreide modus dit aangeven, inclusief welke documenten zijn gevonden en gebruikt om het chatbotantwoord samen te stellen.

Waar vind je uitgebreide logs?

1. Open in je FlowHunt-werkruimte het onderdeel Geschiedenis via het menu aan de linkerkant of gebruik deze link: https://app.flowhunt.io/aistudio/chatbot-history
2. Gebruik de beschikbare filters. Het is aan te raden om minimaal de sessiefilter te gebruiken om de gewenste periode te specificeren en zo de resultaten te verfijnen.
3. Open een specifiek gesprek.
4. Wissel linksboven op het scherm van Eenvoudig naar Uitgebreid.
5. Zoek naar Tool Call-items en controleer of (en welke) tool is gebruikt, samen met de gedetailleerde resultaten.

Los vastgestelde problemen in chatbotantwoorden op

Als je merkt dat de chatbot onjuiste of suboptimale informatie heeft gegeven terwijl de juiste informatie wel beschikbaar is, volg dan deze stappen om de resultaten te verbeteren.

• Controleer of de Document Retriever is gebruikt. Als uit de uitgebreide geschiedenis blijkt dat de Document Retriever niet is gebruikt, werk dan de systeemprompt van de tool-calling agentcomponent bij om te zorgen dat deze altijd de Document Retriever gebruikt bij het samenstellen van antwoorden. Je kunt de prompt versterken door instructies toe te voegen zoals:

  <core_instructions>
  GEBRUIK ALTIJD Tool Call en maak gebruik van "Document Retriever" om beknopte antwoorden te geven met URL's van Document Retriever voor meer details.
  </core_instructions>
  

  Dit zorgt ervoor dat de chatbot jouw documenten en artikelen uit Schema’s als bronmateriaal gebruikt om antwoorden samen te stellen, waardoor de kans op het geven van verkeerde of suboptimale informatie op basis van alleen zijn voorgetrainde data wordt geminimaliseerd.

• Controleer de opgehaalde documenten. Als uit de uitgebreide log blijkt dat de Document Retriever wel is gebruikt, maar andere of irrelevante artikelen zijn opgehaald, overweeg dan het volgende:

  • Verbeter je kennisbank: Voeg nieuwe artikelen toe of verbeter bestaande artikelen met trefwoorden en zinnen die waarschijnlijk in klantvragen voorkomen. Dit vergroot de kans dat de juiste informatie wordt opgehaald.
  • Verfijn artikelmetadata: Zorg dat artikelen relevante titels, samenvattingen en tags hebben om hun vindbaarheid door de Document Retriever-component te vergroten.
  • Maak FAQ’s aan: Voor veelgestelde of terugkerende vragen, maak speciale FAQ-items met de juiste antwoorden. Zo kan de chatbot in de toekomst eenvoudig de juiste informatie vinden en tonen.
  • Beoordeel instructies in de systeemprompt: Voor situaties waarin de chatbot zich specifiek moet gedragen, bijvoorbeeld een e-mail moet versturen, het gesprek moet doorzetten naar een agent of op een bepaalde manier moet antwoorden, kun je de systeemprompt van de tool-calling agentcomponent uitbreiden met instructies zoals:

  <case_specific_instructions>
  - Problemen met JOUW_PRODUCTNAAM:
    - Vraag de gebruiker vriendelijk om hun accountnaam te geven in het formaat: account.domein.com.
    - Gebruik pas wanneer de gebruiker hun accountnaam heeft gegeven direct de "LiveAgent Human Assist"-tool om de chat door te zetten naar een menselijke supportmedewerker.
  </case_specific_instructions>
  

Regelmatige beoordeling van chatbotantwoorden

Met name in de eerste weken na de initiële implementatie adviseren wij klanten om een routine op te zetten voor het beoordelen van chatbotantwoorden om eventuele onjuiste of suboptimale reacties te identificeren.

Tip: Gebruik tags

Taggen direct in de chatbothistorie helpt om cases te organiseren en bij te houden die je al hebt gecontroleerd, en welke nog verdere analyse of verbetering vereisen.

• Tag gesprekken die je hebt nagekeken om dubbele beoordelingen te voorkomen.
• Tag problematische gesprekken voor snelle referentie.
• Gebruik tags zoals ok, moet nagekeken worden, onjuist, of maak aangepaste tags die relevant zijn voor jouw behoeften.