איך עושים בדיקות לסוכן AI לפני שהוא עונה ללקוחות?

תרחיש בדיקה: לקוח שמבקש הנחה

מה נבדק בכל תרחיש

• שיחות של כמה הודעותתרחיש יכול לכלול כמה הודעות של הלקוח, וגם היסטוריה קודמת שהסוכן ״זוכר״.
• ציון ונימוקבודק AI נותן ציון לפי הקריטריונים שכתבתם, ומסביר מה עבד ומה לא.
• מה חייב ומה אסורביטויים שחייבים להופיע בתשובה, וביטויים שאסור שיופיעו, כמו הבטחת הנחה או מחיר שלא קיים.
• שימוש בכליםבודקים שהסוכן קרא לכלי הנכון, עם הפרטים הנכונים, ושהכלי לא החזיר שגיאה.
• זיכרוןבודקים שהסוכן שמר, או לא שמר, את מה שהיה צריך על איש הקשר.
• כמה חזרותכל תרחיש יכול לרוץ כמה פעמים, כדי לראות שהסוכן עקבי ולא רק צדק פעם אחת.

בדיקות שלא נוגעות בלקוחות

• כלים מדומיםכל כלי מקבל תשובה מוכנה מראש: טקסט, JSON, שגיאה או רצף תשובות. היומן, ה-CRM והתשלומים האמיתיים לא נוגעים.
• חסימת כלים שלא הוגדרואפשר לקבוע שכל כלי בלי תשובה מדומה מחזיר שגיאה, כדי לראות איך הסוכן מתמודד.
• תרחיש משיחה אמיתיתשיחה שהסוכן ניהל עם לקוח הופכת לתרחיש בדיקה, כולל הצעה לכלים מדומים לפי מה שהסוכן הפעיל בה.
• עוזר לכתיבת תרחישיםעוזר AI מציע תרחישים חדשים, מגוון אותם, ומחדד תרחישים קיימים כדי שיהיו קשים יותר.

אחרי שהסוכן עולה לאוויר

• הרצות קבועותחבילת בדיקות רצה לפי לוח זמנים, ושולחת התראה כשהיא נכשלת.
• היסטוריית ציוניםציון כולל וציון לכל סוג בדיקה לאורך זמן, כדי לראות אם שינוי בהנחיות שיפר או פגע.
• סף מעברקובעים מאיזה ציון החבילה נחשבת עוברת.
• גם לסוכנים אוטונומייםבודקים סבב עבודה של סוכן אוטונומי: באילו כלים השתמש, כמה פעולות עשה, אם עדכן יעד ואם ביקש אישור כשצריך.

מתחילים לבדוק

1. 1פותחים חבילת בדיקות

   לסוכן קיים, או משיחה אמיתית שרוצים לשחזר.

2. 2כותבים תרחישים

   מה הלקוח כותב, מה חייב לקרות, מה אסור, ולפי מה הבודק נותן ציון.

3. 3מגדירים כלים מדומים

   תשובה מוכנה לכל כלי שהסוכן עשוי להפעיל.

4. 4מריצים וקובעים לוח זמנים

   מריצים, קוראים את הנימוקים, מתקנים הנחיות, ומתזמנים הרצה קבועה.

שאלות על בדיקות לסוכנים