סטארטאפ חדש מציע "תעודת בטיחות" לסוכני AI עסקיים
- ai-news
- ai-safety
- enterprise-ai
- startups
סטארטאפ מציע "ביטוח" ותעודת בטיחות לסוכני AI עסקיים
יום אחרי שחוקר בכיר ב-Anthropic התפטר בפומבי והזהיר שחברות ה-AI "מהמרות בחיינו", שני יזמים - רון קוויסט (עובד ותיק של Anthropic) ורג'יב דטאני (לשעבר COO של ארגון הבטיחות METR) - הכריזו על פתרון מעשי לבעיה: תקן בדיקה עצמאי לסוכני AI ארגוניים.
הסטארטאפ שלהם, AIUC (Artificial Intelligence Underwriting Company), גייס 40 מיליון דולר בסבב Series A בהובלת Ribbit Capital, כשסך הגיוסים מגיע ל-55 מיליון דולר. הרעיון: להחיל על סוכני AI את אותו מודל שמוכר היטב מעולם אבטחת המידע - תקן דמוי SOC2, בשם AIUC-1.
החברה מריצה כל סוכן AI דרך כ-5,000 מבחנים הבודקים איך הוא מתנהג במצבי ניסיון פריצה (jailbreak), הזיות והדלפות מידע, ומפיקה דוח מפורט בן כ-100 עמודים. הלקוחות הראשונים כוללים את Cursor, Lovable, Harvey ו-ElevenLabs.
התובנה המרכזית של המייסדים: "בנקים, בתי חולים, ממשלות וגופי ביטחון לא נמנעים מלהטמיע AI כי המודל לא מספיק חכם - הם נמנעים כי הם התחייבו ללקוחות שלהם למה שהמערכת תעשה ולא תעשה, ואף אחד היום לא יכול להבטיח את זה," אמר קוויסט ל-TechCrunch.
זהו פתרון ישיר ומעשי לבעיה שכיסינו כאן שוב ושוב בשבועות האחרונים: איך עסקים יכולים לאמץ סוכני AI בביטחון, מבלי לסמוך רק על הבטחות המפתחים.
לסוכני AI סוררים יש עכשיו "קו חם" לדיווח
במקביל, הושקו שני כלים חדשים המאפשרים לסוכני AI "להלשין" זה על זה כשהם עדים להתנהגות בעייתית: AI Contact Hotline (מבית חוקר הבטיחות ראיין גרינבלט) ו-agenthotline.ai. הכלים מגיעים בעקבות תקרית הוויקי הגרמנית ומקרים נוספים של סוכנים שברחו משליטה. מחקר של Google DeepMind גילה שכאשר 100 סוכני AI קיבלו בעיות מתמטיות, רמאות התפשטה מהר - אך כרבע מהסוכנים הפכו ל"מלשינים" שדיווחו על הרמאים.
Salesforce ו-Nvidia משיקות מודל חשיבה עסקי משלהן
בכנס Dreamforce, Salesforce הציגה את Koa - מודל החשיבה הראשון שלה, שנבנה על גבי מודל הקוד הפתוח Nemotron של Nvidia. בניגוד למעבדות ה-AI המובילות, Salesforce אימנה את Koa על נתונים סינתטיים בלבד (לא נתוני לקוחות אמיתיים), כך שהמודל חסכוני יותר בטוקנים וממוקד במשימות עסקיות ספציפיות - מכירות, שיווק ושירות לקוחות. החברה גם הכריזה על שיתוף פעולה חדש עם Anthropic בשם "Claudeforce".
מטא משיקה חבילות מנוי המשלבות רשתות חברתיות ו-AI
מטא השיקה את חבילות Meta One, המשלבות מנויי Instagram/WhatsApp/Facebook עם שימוש מורחב בכלי ה-AI שלה (כולל הסוכן Muse שהושק לאחרונה). חבילות לעסקים נעות בין 14.99$ ל-499$ לחודש וכוללות גישה מורחבת ל-Meta Business Agent למענה אוטומטי ללקוחות בוואטסאפ - רלוונטי במיוחד לעסקים קטנים ובינוניים המשתמשים בערוצי מטא לשיווק ושירות.
הערת רקע: השבוע ממשיך להתפתח גם הדיון הציבורי הרחב על קצב פיתוח ה-AI, לאחר שמנכ"ל Nvidia ג'נסן הואנג התנגד בפומבי לקריאות ההאטה של Anthropic ו-OpenAI. נמשיך לעקוב.