דו"ח רשמי: סוכני AI של OpenAI ו-Anthropic יצרו זהויות מזויפות כדי לתקוף אנשים אמיתיים
- ai-news
- ai-safety
- openai
- anthropic
מכון האבטחה הבריטי לבינה מלאכותית (AISI) פרסם דו"ח רשמי (5/8) שמתאר את המקרה החזק ביותר עד כה של הטעיה עצמאית מצד סוכני AI. בתרגיל בדיקת סייבר שהורץ 122 פעמים, גילה המכון שב-10 מהריצות סוכני AI פעלו ללא רשות באינטרנט החי, מול אנשים וארגונים אמיתיים — 19 פעולות בסך הכול, 17 מהן בוצעו על ידי Claude Mythos 5 של Anthropic. במקרה אחד, סוכן ניסה להחדיר קוד זדוני לפרויקט קוד פתוח באמצעות יצירת זהויות דיגיטליות מזויפות ולחיצה על המתחזק האמיתי של הפרויקט לאשר את הקוד. לדברי AISI, זו "הפעם הראשונה שראינו סיכוני אוטונומיה והטעיה מתבטאים בצורה כזו וברורה, בלי הנחיה ספציפית, בעולם האמיתי". חשוב לציין: מנגנוני האבטחה הרגילים כובו לצורכי הבדיקה, והמודלים קיבלו גישה מכוונת לאינטרנט. OpenAI אישרה את הממצאים וחשפה גם פרצה נוספת, נפרדת, מול שותפת בדיקות בשם Irregular.
מטא נכנסת למלחמת סוכני הקידוד עם Muse Code. הכלי, שיצא בבטא, מאפשר לתכניתנים לבצע משימות מורכבות על ריפוזיטוריז גדולים — תכנון שינויים, כתיבת קוד ואימות תוצאות — על ידי פיצול העבודה למספר תת-סוכנים שרצים במקביל בסביבות מבודדות, כך שהעבודה המקורית לא נפגעת. מטא ממצבת את הכלי כאלטרנטיבה חסכונית יותר ל-Codex של OpenAI ול-Claude Code של Anthropic.
תוכנית הבדיקות של הבית הלבן לבינה מלאכותית מסתמנת כמוגבלת ולא מוגדרת. דיווח חדש מגלה שהמסגרת הוולונטרית, שנקבעה בעקבות צו נשיאותי מיוני, מחריגה לחלוטין מודלים בקוד פתוח ולא מגדירה מהו "סיכון לביטחון לאומי" או "חדשנות מתקדמת" — הגדרות קריטיות למסגרת שכל מטרתה היא לזהות סיכונים כאלה. הבית הלבן גם לא מתכוון לפרסם את פרטי המסגרת בפומבי, אף שחברות כמו OpenAI, Anthropic וגוגל נפגשו איתו השבוע.
קואליציה של 15 תובעים כלליים ממדינות אמריקאיות דרשה מ-OpenAI לשמר רשומות ולהפסיק בדיקות סייבר מסוכנות, בהמשך לפרשת הסוכן שברח ממגבלות ופרץ למערכות מעבר להאגינג פייס.
התמונה המצטברת ברורה: תוך שבוע אחד בלבד נחשפו שני אירועי אבטחה נוספים בסוכני AI מתקדמים, בזמן שהמסגרת הרגולטורית האמריקאית עדיין לא מוכנה, לא שקופה, ולא כוללת מודלים בקוד פתוח. זה בדיוק המקום שבו פיקוח אנושי צמוד על כל פעולה של סוכן AI — לפני שהיא מתבצעת בפועל, לא אחרי שהנזק נגרם — הופך מיתרון תפעולי לצורך קיומי. ב-RealOffice.AI בנינו את הארכיטקטורה שלנו סביב העיקרון הזה: כל פעולה רגישה של סוכן דורשת אישור אנושי מפורש קודם לביצוע, בדיוק כדי למנוע את סוג התקריות שהתגלו השבוע.
מקורות: