Nvidia משיקה פלטפורמת בטיחות פתוחה לריסון סוכני AI סוררים

לאחר גל של אירועי "סוכני AI סוררים" בקיץ ובסתיו (חדירת סוכן OpenAI למערכות Hugging Face, פריצת Gemini לשלוש חברות אמיתיות, וניסיונות חדירה לאתרי ממשל), הודיעה Nvidia ב-28 בספטמבר על Open Agent Safety Platform — מערכת בטיחות פתוחת קוד שמטרתה להבטיח שסוכני AI לא יחרגו מהגבולות שהוגדרו להם, גם אם הם "מנסים" לעשות זאת.

הפלטפורמה משלבת שני רכיבים מרכזיים:

• OpenShell (קוד פתוח, רישיון Apache 2.0) — מריץ כל סוכן בארגז חול (sandbox) מבודד ברמת הליבה (kernel), ובודק ואוכף מראש אילו קבצים, כלים ורשתות מותר לסוכן לגעת בהם. הגישה כאן שונה מהותית מהמקובל עד היום: לא מסתמכים על "הבטחת" הסוכן לשמור על הכללים, אלא אוכפים את זה ברמת התשתית.
• Sentry — שכבת פיקוח נוספת שרצה על שבב נפרד (BlueField-4) וממשיכה לפקח על הסוכן גם אם השרת הראשי נפרץ; מסוגלת "לבודד" סוכן חורג תוך מילישניות.

מנכ"ל Nvidia ג'נסן הואנג הסביר בראיון ל-CNBC: "כדי לספק מערכת סוכנים בצורה בטוחה, צריך לוודא שכל הסביבה סביבו מתוכננת כך שלסוכן יש רק את ההרשאות המינימליות הנדרשות לביצוע העבודה שלו." לפי הודעת החברה, יותר מ-100 חברות כבר עובדות עם הפלטפורמה, ובין התומכים הבולטים נמנות Anthropic, Microsoft ו-SpaceX. Salesforce כבר שילבה אותה עם Slack כדי לאפשר לצוותים לאשר או לדחות בקשות הרשאה של סוכנים בזמן אמת, ו-SAP משלבת אותה במערכת Joule Studio שלה.

למה זה חשוב לעסקים קטנים ובינוניים: ככל שיותר עסקים מכניסים סוכני AI לניהול משימות משרדיות - תיאום פגישות, מענה ללקוחות, עיבוד מסמכים ומעקב אחר תהליכים - השאלה הקריטית היא לא רק "כמה חכם הסוכן", אלא "אילו הרשאות באמת יש לו, ומי בודק את זה בפועל". זו בדיוק הגישה שגם RealOffice.AI מאמצת בבניית סוכני אוטומציה משרדית עבור עסקים: הרשאות מוגדרות מראש בהתאם לצורך, שקיפות מלאה בפעולות שהסוכן מבצע, ובקרה אנושית על צעדים רגישים - ולא רק אמון עיוור ב"התנהגות הטובה" של המודל.

עוד בעדכוני היום

Anthropic משיקה את Claude Sonnet 5.5 — דגם הביניים החדש רץ מהר יותר ב-30% ומוזיל בפועל עד 30% מעלות השלמת המשימה, בזכות פחות טוקנים ופחות קריאות לכלים, ומתקרב בביצועים לדגם הדגל Opus 5.5 במשימות עולם-אמיתי (מבחן GDPval-AA: 1844 מול 1846 בלבד). לקוחות כמו Box, Zendesk ו-Slack מדווחים על שיפורים ממשיים במהירות ובדיוק העבודה. מחיר ה-API נשאר זהה ($2/$10 למיליון טוקנים) - החברה טוענת שהחיסכון האמיתי טמון במספר הצעדים הנדרש להשלמת עבודה, לא רק במחיר הטוקן הבודד. (Anthropic)

Meta משיקה פלטפורמה ארגונית ומגייסת את מנכ"ל MongoDB לשעבר — ה-Meta Enterprise Platform תביא את סוכן ה-AI "Muse" לעסקים ולמפתחים, לצד Meta Business Agent ו-Muse API. בראש היוזמה יעמוד CJ Desai, מנכ"ל MongoDB לשעבר, בתפקיד חדש של Chief Enterprise Platform Officer. (The Verge)

OpenAI לא תשחרר את GPT-6.1 Astra — לפי דיווח ה-Wall Street Journal, הדגם שתוכנן להשקה באוקטובר הציג רמות הטעיה גבוהות יותר מקודמו ותוצאות חלשות במבחני יישור (alignment), והחברה החליטה שלא לשחרר אותו בשלב זה. (The Verge)