Ako ladiť odpovede chatbota

Skontrolujte históriu chatbota s podrobným logovaním

FlowHunt poskytuje históriu interakcií s chatbotom, ktorá vám umožňuje prezerať si detailné záznamy o každom chatovom sedení. Ak boli počas chatu použité špecifické komponenty, napríklad Document Retriever, v logoch v podrobnom režime to bude uvedené, vrátane informácie, ktoré dokumenty boli objavené a použité na zostavenie odpovede chatbota.

Kde nájdete podrobné logy?

1. Vo vašom FlowHunt pracovnom priestore otvorte História v ľavom menu alebo použite tento odkaz: https://app.flowhunt.io/aistudio/chatbot-history
2. Použite dostupné filtre. Odporúčame použiť aspoň filter na reláciu, aby ste určili časové obdobie, ktoré chcete skontrolovať, a zúžili tak výsledky.
3. Otvorte konkrétnu konverzáciu.
4. V hornej ľavej časti obrazovky prepnite z režimu Plain na Verbose.
5. Hľadajte záznamy Tool Call a zistite, či (a ktorý) nástroj bol použitý, spolu s detailnými výsledkami.

Riešenie zistených problémov v odpovediach chatbota

Ak zistíte, že chatbot poskytol nesprávne alebo neoptimálne informácie, hoci správne informácie sú dostupné, postupujte podľa týchto krokov na odhalenie a zlepšenie výsledkov.

• Skontrolujte, či bol použitý Document Retriever. Ak podrobná história uvádza, že Document Retriever použitý nebol, aktualizujte systémový prompt komponentu s vyvolávaním nástrojov tak, aby vždy využíval Document Retriever pri zostavovaní odpovedí. Prompt môžete posilniť pridaním inštrukcií, ako napríklad:

  <core_instructions>
  VŽDY použite Tool Call a využite "Document Retriever" na poskytnutie stručných odpovedí s URL od Document Retriever pre viac detailov.
  </core_instructions>
  

  Tým zabezpečíte, že chatbot vyhľadáva a využíva vaše dokumenty a články zo Schedules ako zdrojový materiál na zostavenie odpovedí, čím sa minimalizuje riziko poskytnutia nesprávnych alebo neoptimálnych informácií len na základe predtrénovaných dát.

• Skontrolujte získané dokumenty. Ak podrobný log uvádza, že Document Retriever bol použitý, ale vrátil odlišné alebo nerelevantné články, zvážte nasledovné:

  • Vylepšite svoju znalostnú databázu: Pridajte nové články alebo vylepšite existujúce, aby obsahovali kľúčové slová a frázy, ktoré sa pravdepodobne vyskytnú v otázkach zákazníkov. Tak zvýšite pravdepodobnosť, že budú získané správne informácie.
  • Upravte metadáta článkov: Uistite sa, že články majú relevantné názvy, zhrnutia a tagy, čo zvyšuje ich dohľadateľnosť komponentom Document Retriever.
  • Vytvorte FAQ: Pre časté alebo opakujúce sa otázky vytvorte samostatné FAQ položky so správnymi odpoveďami. Chatbot tak môže v budúcnosti ľahko nájsť a prezentovať správne informácie.
  • Skontrolujte systémové inštrukcie: V situáciách, keď má chatbot konať špecificky – napríklad vyvolať email, presmerovať na agenta alebo odpovedať určitým spôsobom – aktualizujte systémový prompt komponentu s vyvolávaním nástrojov o konkrétne inštrukcie, pridaním pokynov ako napríklad:

  <case_specific_instructions>
  - Problémy s YOUR_PRODUCT_NAME:
    - Zdvorilo požiadajte používateľa, aby uviedol názov svojho účtu vo formáte: account.domain.com.
    - Len čo používateľ poskytne názov účtu, okamžite použite nástroj "LiveAgent Human Assist" na presmerovanie chatu k ľudskému podpornému agentovi.
  </case_specific_instructions>
  

Pravidelná kontrola odpovedí chatbota

Najmä v prvých týždňoch po počiatočnej implementácii odporúčame zákazníkom zaviesť rutinu na kontrolu odpovedí chatbota, aby včas identifikovali nesprávne alebo neoptimálne reakcie.

Tip: Používajte tagovanie

Tagovanie priamo v histórii chatbota pomáha organizovať a sledovať prípady, ktoré ste už skontrolovali, ako aj tie, ktoré si vyžadujú ďalšiu analýzu alebo zlepšenie.

• Označte tagom konverzácie, ktoré ste už skontrolovali, aby ste sa vyhli opakovanému prehliadaniu tej istej konverzácie.
• Označte problematické konverzácie pre rýchly spätný náhľad.
• Používajte tagy ako ok, needs review, incorrect alebo vlastné tagy podľa vašich potrieb.