Cómo depurar las respuestas del chatbot

Revisa el historial del chatbot con registros detallados

FlowHunt proporciona un historial de las interacciones del chatbot, permitiéndote revisar información detallada de registros sobre cada sesión de chat. Si se utilizaron componentes específicos, como el Document Retriever, durante una conversación, los registros en modo detallado lo indicarán, incluyendo qué documentos se descubrieron y utilizaron para componer la respuesta del chatbot.

¿Dónde acceder a los registros detallados?

1. En tu espacio de trabajo de FlowHunt, abre Historial desde el menú lateral izquierdo o utiliza este enlace: https://app.flowhunt.io/aistudio/chatbot-history
2. Usa los filtros disponibles. Se recomienda utilizar al menos el filtro de sesión para especificar el periodo que deseas revisar y así acotar los resultados.
3. Abre una conversación específica.
4. Cambia de Simple a Detallado en la parte superior izquierda de la pantalla.
5. Busca las entradas de Tool Call y verifica si (y cuál) herramienta se utilizó, junto con los resultados detallados.

Resuelve los problemas identificados en las respuestas del chatbot

Si detectas que el chatbot proporcionó información incorrecta o subóptima aunque la información correcta está disponible, sigue estos pasos para solucionar y mejorar los resultados.

• Verifica si se utilizó el Document Retriever. Si el historial detallado indica que no se utilizó el Document Retriever, actualiza el prompt del sistema del componente agente que llama herramientas para asegurarte de que siempre aproveche el Document Retriever al construir respuestas. Puedes reforzar el prompt agregando instrucciones como:

  <core_instructions>
  SIEMPRE usa Tool Call y utiliza "Document Retriever" para proporcionar respuestas concisas con URLs del Document Retriever para más detalles.
  </core_instructions>
  

  Esto debería garantizar que el chatbot busque e incorpore tus documentos y artículos de Schedules como material fuente para componer respuestas, minimizando el riesgo de ofrecer información incorrecta o subóptima basada únicamente en sus datos pre-entrenados.

• Revisa los documentos recuperados. Si el registro detallado indica que se usó el Document Retriever pero devolvió artículos diferentes o irrelevantes, considera lo siguiente:

  • Mejora tu base de conocimientos: Agrega nuevos artículos o mejora los existentes incluyendo palabras clave y frases que probablemente aparezcan en las preguntas de los clientes. Esto aumenta la probabilidad de que se recupere la información correcta.
  • Refina los metadatos de los artículos: Asegúrate de que los artículos tengan títulos, resúmenes y etiquetas relevantes para incrementar su visibilidad para el componente Document Retriever.
  • Crea FAQs: Para preguntas comunes o recurrentes, crea entradas de preguntas frecuentes (FAQ) con las respuestas correctas. Esto garantiza que el chatbot pueda recuperar y presentar fácilmente la información adecuada en el futuro.
  • Revisa las instrucciones del prompt del sistema: Para situaciones en las que el chatbot deba comportarse de una manera específica y activar un correo, transferir a un agente o responder de cierta forma, intenta actualizar el prompt del sistema del componente agente que llama herramientas para asegurarte de que tenga instrucciones específicas para cada caso, agregando instrucciones como:

  <case_specific_instructions>
  - Problemas con YOUR_PRODUCT_NAME:
    - Solicita amablemente al usuario que proporcione su nombre de cuenta en el formato: cuenta.dominio.com.
    - Solo después de que el usuario proporcione su nombre de cuenta, utiliza inmediatamente la herramienta "LiveAgent Human Assist" para transferir el chat a un agente de soporte humano.
  </case_specific_instructions>
  

Revisión periódica de las respuestas del chatbot

Especialmente en las primeras semanas tras la implementación inicial, recomendamos a los clientes establecer una rutina para revisar las respuestas del chatbot e identificar cualquier respuesta incorrecta o subóptima.

Consejo: Usa etiquetas

Etiquetar directamente en el historial del chatbot ayuda a organizar y hacer seguimiento de los casos que ya has revisado, así como de aquellos que requieren más análisis o mejoras.

• Etiqueta las conversaciones que ya has revisado para evitar revisar la misma conversación dos veces.
• Etiqueta las conversaciones problemáticas para una referencia rápida.
• Utiliza etiquetas como ok, needs review, incorrect o etiquetas personalizadas según tus necesidades.