Come effettuare il debug delle risposte del chatbot

Revisione della cronologia del chatbot con log dettagliati

FlowHunt fornisce una cronologia delle interazioni con il chatbot, permettendoti di consultare informazioni dettagliate sui log di ogni sessione di chat. Se durante una conversazione sono stati utilizzati componenti specifici, come il Document Retriever, i log in modalità dettagliata lo indicheranno, specificando quali documenti sono stati individuati e utilizzati per comporre la risposta del chatbot.

Dove accedere ai log dettagliati?

1. Nel tuo workspace FlowHunt, apri Cronologia dal menu laterale sinistro oppure utilizza questo link: https://app.flowhunt.io/aistudio/chatbot-history
2. Usa i filtri disponibili. Si consiglia di utilizzare almeno il filtro sessione per specificare l’intervallo di tempo che vuoi controllare, così da restringere i risultati.
3. Apri una conversazione specifica.
4. Cambia la visualizzazione da Semplice a Dettagliata in alto a sinistra dello schermo.
5. Cerca le voci Tool Call e verifica se (e quale) Tool è stato utilizzato, insieme ai risultati dettagliati.

Risoluzione dei problemi individuati nelle risposte del chatbot

Se noti che il chatbot ha fornito informazioni errate o poco ottimali anche se le informazioni corrette sono disponibili, segui questi passaggi per risolvere il problema e migliorare i risultati.

• Verifica l’utilizzo del Document Retriever. Se dalla cronologia dettagliata risulta che il Document Retriever non è stato utilizzato, aggiorna il system prompt del componente tool-calling agent per assicurarti che venga sempre sfruttato il Document Retriever nella costruzione delle risposte. Puoi rafforzare il prompt aggiungendo istruzioni come:

  <core_instructions>
  USA SEMPRE Tool Call e utilizza "Document Retriever" per fornire risposte concise con URL del Document Retriever per ulteriori dettagli.
  </core_instructions>
  

  In questo modo il chatbot cercherà e incorporerà i tuoi documenti e articoli dalle Schedules come materiale di partenza per comporre le risposte, riducendo al minimo il rischio di fornire informazioni errate o poco ottimali basandosi solo sui dati pre-addestrati.

• Rivedi i documenti recuperati. Se il log dettagliato indica che il Document Retriever è stato utilizzato ma ha restituito articoli diversi o non pertinenti, valuta le seguenti azioni:

  • Migliora la tua knowledge base: Aggiungi nuovi articoli o arricchisci quelli esistenti includendo parole chiave e frasi che probabilmente appariranno nelle domande dei clienti. Questo aumenta le probabilità che venga recuperata l’informazione corretta.
  • Raffina i metadati degli articoli: Assicurati che gli articoli abbiano titoli, riassunti e tag pertinenti per aumentarne la visibilità da parte del componente Document Retriever.
  • Crea FAQ: Per domande comuni o ricorrenti, crea delle FAQ dedicate con le risposte corrette. In questo modo il chatbot potrà recuperare e presentare facilmente le informazioni giuste in futuro.
  • Rivedi le istruzioni del system prompt: Per i casi in cui il chatbot debba comportarsi in modo specifico, attivare una email, trasferire la conversazione a un operatore o rispondere in modo particolare, aggiorna il system prompt del componente tool-calling agent aggiungendo istruzioni per i casi specifici, come ad esempio:

  <case_specific_instructions>
  - Problemi con YOUR_PRODUCT_NAME:
    - Chiedi cortesemente all’utente di fornire il nome account nel formato: account.domain.com.
    - Solo dopo che l’utente ha fornito il nome account, usa immediatamente lo strumento "LiveAgent Human Assist" per trasferire la chat a un operatore umano.
  </case_specific_instructions>
  

Revisione regolare delle risposte del chatbot

Soprattutto nelle prime settimane dopo l’implementazione iniziale, consigliamo ai clienti di stabilire una routine di revisione delle risposte del chatbot per identificare eventuali risposte errate o poco ottimali.

Suggerimento: Usa i tag

Taggare direttamente nella cronologia del chatbot aiuta a organizzare e tracciare i casi che hai già controllato, così come quelli che richiedono ulteriori analisi o miglioramenti.

• Tagga le conversazioni già verificate per evitare di controllare due volte la stessa conversazione.
• Tagga le conversazioni problematiche per un rapido riferimento.
• Utilizza tag come ok, da rivedere, errato o tag personalizzati in base alle tue esigenze.