גרטנר מזהירה: עלויות סוכני AI יזנקו פי 5 עד 2028 — למרות שהטוקנים מוזילים

התמונה הגדולה

רוב בעלי העסקים שעוקבים אחרי עולם ה-AI שמעו כבר שמחירי הטוקנים (יחידת המידע שמודלים צורכים ומייצרים) יורדים בהתמדה. ההנחה הטבעית היא שזה אומר שגם החשבון החודשי של העסק על AI ילך ויוזל. דוח חדש של חברת המחקר גרטנר, שסוקר VentureBeat, מתריע: ההנחה הזו שגויה — ולעיתים ההפך הוא הנכון.

גרטנר מכנה את התופעה "פרדוקס ה-Inference" (Inference Paradox): ניתוב משימה לסוכן AI אוטונומי (agent) מעלה את עלות ההרצה בפועל פי 5 לפחות בהשוואה לשיחת צ'אט רגילה - ולעיתים הרבה יותר, ככל שהמשימה מורכבת יותר.

למה זה קורה בכלל, אם המחירים יורדים?

לפי Will Sommer, אנליסט בכיר בגרטנר, יש לכך שתי סיבות משולבות:

1. מעבדות ה-AI לא שומרות את החיסכון - כשמודל נהיה יעיל וזול יותר לטוקן, החברות המפתחות (OpenAI, Anthropic, גוגל ואחרות) לא מורידות בהתאם את המחיר הכולל - הן משקיעות את החיסכון בפיתוח מודלים חדשים, חזקים ויקרים יותר. גרטנר מציינת כדוגמה שמודל ה-Fable של אנתרופיק עולה יותר לטוקן מאשר ה-Opus הקודם לו.
2. סוכני AI צורכים הרבה יותר טוקנים מצ'אט רגיל - לפי גרטנר, ביצוע משימה על ידי סוכן אוטונומי דורש פי 5 עד 30 יותר טוקנים מאשר שאלה רגילה לצ'אטבוט, כי הסוכן צריך לתכנן, לבדוק, לתקן את עצמו ולבצע מספר שלבים ברצף.

התוצאה: ברגע שעסק עובר מ"שאלתי את הצ'אט שאלה" ל"הפעלתי סוכן שמבצע לי משימה שלמה", העלות בפועל יכולה להפתיע.

חמש המלצות מעשיות לעסקים

גרטנר ממליצה לעסקים שמאמצים סוכני AI לנקוט בחמישה צעדים:

• שקיפות תפעולית (Observability) - אי אפשר לשלוט בעלות שלא עוקבים אחריה בזמן אמת.
• קישור ישיר בין עלות לתוצאה - לדרוש מכל שימוש בסוכן AI להראות ערך מדיד מול המחיר (למשל: כמה פניות שירות נסגרו, לא רק כמה טוקנים נצרכו).
• ניתוב חכם למודלים זולים - להגדיר שברירת המחדל למשימות שגרתיות היא מודל זול ויעיל, ולשמור את המודלים ה"יקרים והחכמים" רק למשימות שבאמת דורשות זאת.
• סטנדרטים מינימליים מוגדרים מראש - לא להשיק יכולת AI חדשה בלי שבדקו אותה מראש מול תרחישי קיצון של עליית מחיר או כשל.
• שימוש בדאטה הפנימי של העסק - מודלים ממוקדים שמאומנים על הדאטה הספציפי של העסק נוטים להיות אמינים ויעילים יותר ממודלים כלליים ויקרים.

דוגמה מהשטח: המרוץ ליעילות טוקנים

באותו שבוע, חברת Reflection AI הציגה מודל קוד-פתוח חדש בשם Beam, שמתמקד במפורש בביצוע משימות בפחות טוקנים - ולא רק במחיר זול יותר לטוקן בודד. לפי הדיווח ב-VentureBeat, במבחנים מסוימים Beam הגיע לתוצאות דומות למודלים מתחרים תוך שימוש בכשליש מכמות הטוקנים - המחשה מעשית בדיוק לסוג הפתרונות שגרטנר ממליצה עליהם.

למה זה חשוב לעסק הקטן-בינוני שלך

אם אתם שוקלים להטמיע סוכני AI אוטונומיים (לשירות לקוחות, ניתוח נתונים, תפעול) - אל תתכננו תקציב לפי מחיר הטוקן של היום. תכננו לפי העלות הצפויה של המשימה כולה, ועקבו אחרי השימוש בפועל מהיום הראשון. ההבדל בין עסק שמרוויח מ-AI לעסק שמופתע מהחשבון - הוא לרוב שאלה של ניהול ומעקב, לא של טכנולוגיה.