Jak debugować odpowiedzi chatbota

Przeglądaj historię chatbota z rozbudowanym logowaniem

FlowHunt udostępnia historię interakcji z chatbotem, umożliwiając przeglądanie szczegółowych informacji o każdej sesji czatu. Jeśli podczas rozmowy użyto określonych komponentów, takich jak Document Retriever, logi w trybie szczegółowym pokażą to, wskazując, które dokumenty zostały znalezione i wykorzystane do opracowania odpowiedzi chatbota.

Gdzie uzyskać dostęp do szczegółowych logów?

1. W swoim workspace FlowHunt otwórz Historię z menu po lewej stronie lub skorzystaj z tego linku: https://app.flowhunt.io/aistudio/chatbot-history
2. Skorzystaj z dostępnych filtrów. Zaleca się użycie przynajmniej filtra sesji, aby określić przedział czasowy, który chcesz sprawdzić, i zawęzić wyniki.
3. Otwórz wybraną rozmowę.
4. Zmień z Plain na Verbose w lewym górnym rogu ekranu.
5. Wyszukaj wpisy Tool Call i sprawdź, czy (i który) Tool został użyty oraz zapoznaj się ze szczegółowymi rezultatami.

Rozwiązywanie zidentyfikowanych problemów w odpowiedziach chatbota

Jeśli zauważysz, że chatbot udzielił niepoprawnych lub nieoptymalnych informacji, mimo że poprawne informacje są dostępne, wykonaj poniższe kroki, aby rozwiązać problem i poprawić wyniki.

• Sprawdź, czy użyto Document Retriever. Jeśli szczegółowa historia wskazuje, że Document Retriever nie został użyty, zaktualizuj systemowy prompt komponentu wywołującego narzędzia, aby zawsze wykorzystywał Document Retriever podczas udzielania odpowiedzi. Możesz wzmocnić prompt, dodając instrukcje takie jak:

  <core_instructions>
  ZAWSZE używaj Tool Call i wykorzystuj "Document Retriever", aby udzielać zwięzłych odpowiedzi wraz z URL-ami pochodzącymi z Document Retriever dla uzyskania dodatkowych szczegółów.
  </core_instructions>
  

  Dzięki temu chatbot będzie wyszukiwał i wykorzystywał Twoje dokumenty i artykuły z Schedules jako źródło odpowiedzi, minimalizując ryzyko udzielania niepoprawnych lub nieoptymalnych informacji wyłącznie na podstawie swoich danych wytrenowanych.

• Przejrzyj pobrane dokumenty. Jeśli log szczegółowy wskazuje, że użyto Document Retriever, ale zwrócił on inne lub nieistotne artykuły, rozważ następujące działania:

  • Rozbuduj swoją bazę wiedzy: Dodaj nowe artykuły lub ulepsz istniejące, tak aby zawierały słowa kluczowe i frazy, które mogą pojawiać się w pytaniach klientów. Zwiększa to szansę, że właściwe informacje zostaną odnalezione.
  • Dopracuj metadane artykułów: Upewnij się, że artykuły mają odpowiednie tytuły, streszczenia i tagi, aby zwiększyć ich wykrywalność przez komponent Document Retriever.
  • Stwórz FAQ: Dla często powtarzających się pytań utwórz dedykowane wpisy FAQ z poprawnymi odpowiedziami. Dzięki temu chatbot łatwo odnajdzie i przedstawi właściwe informacje w przyszłości.
  • Przejrzyj instrukcje w systemowym promcie: W sytuacjach, gdy chatbot powinien zachowywać się w określony sposób, np. wywołać e-mail, przekierować do agenta lub odpowiedzieć w konkretny sposób, zaktualizuj systemowy prompt komponentu wywołującego narzędzia, dodając instrukcje takie jak:

  <case_specific_instructions>
  - Problemy z TWOJĄ_NAZWĄ_PRODUKTU:
    - Uprzejmie poproś użytkownika o podanie nazwy konta w formacie: konto.domena.com.
    - Dopiero po podaniu przez użytkownika nazwy konta, natychmiast użyj narzędzia "LiveAgent Human Assist", aby przekierować czat do Agenta Wsparcia.
  </case_specific_instructions>
  

Regularny przegląd odpowiedzi chatbota

Szczególnie w pierwszych tygodniach po wdrożeniu zalecamy klientom ustalenie rutyny polegającej na regularnym przeglądaniu odpowiedzi chatbota, w celu identyfikacji błędnych lub nieoptymalnych wypowiedzi.

Wskazówka: Używaj tagowania

Tagowanie bezpośrednio w historii chatbota pomaga organizować i śledzić sprawy, które zostały już sprawdzone, jak i te wymagające dalszej analizy lub poprawy.

• Oznaczaj rozmowy, które zostały sprawdzone, aby nie analizować ich ponownie.
• Oznaczaj problematyczne rozmowy dla szybkiego odnalezienia.
• Używaj tagów takich jak ok, do przeglądu, niepoprawne lub własnych, dostosowanych do swoich potrzeb.