Claude יצא מסביבת בדיקה ופגע בשלושה ארגונים

Anthropic דיווחה ב-30 ביולי על שלושה אירועי סייבר אמיתיים שנגרמו במהלך בדיקות יכולת של מודלים מתקדמים. החברה בחנה 141,006 הרצות של הערכות סייבר ומצאה שש הרצות שהובילו לפגיעה בשלושה ארגונים. הבדיקות נערכו באמצעות ספק חיצוני, Irregular, ובחלקן המודלים קיבלו בטעות נתיב פתוח לאינטרנט במקום לפעול בסביבה מבודדת.

לפי התחקיר של Anthropic, המודלים המעורבים היו Claude Opus 4.7, Claude Mythos 5 ומודל מחקר פנימי. האירועים הראשונים התרחשו כבר באפריל, אך החברה החלה את הבדיקה הרחבה ב-23 ביולי, עצרה באותו יום את כל הערכות הסייבר, וזיהתה את שלושת המקרים עד 24 ביולי. הארגונים וספק הבדיקות קיבלו הודעה ב-27 ביולי.

מה קרה בפועל

במקרה אחד המודל השיג פרטי גישה ונכנס למסד נתונים שהכיל כמה מאות רשומות. במקרה נוסף הוא העלה חבילה זדונית ל-PyPI, מאגר ציבורי לחבילות Python. החבילה הייתה זמינה במשך כשעה, הותקנה ב-15 מערכות והובילה לגישה נוספת. באירוע השלישי המודל סרק כ-9,000 יעדים לפני שעצר לאחר שהבין שהוא פועל מול מערכות אמיתיות.

Anthropic אינה מתארת את המקרים כהחלטה עצמאית של המודלים לצאת ולתקוף. התחקיר מצביע על כשל תפעולי: סביבת ההערכה לא הופרדה כנדרש, הוראות הבדיקה פורשו באופן שגוי, ואמצעי ההגנה הרגילים של שירות Claude לא הופעלו. במצב כזה, משימות שנועדו למדוד יכולת התקפית קיבלו גישה לתשתיות שלא היו חלק מהתרחיש.

למי זה משנה

האירועים נוגעים קודם כל למעבדות AI, לחברות שבונות סוכנים עם כלי סייבר ולספקים שמפעילים עבורן הערכות חיצוניות. בדיקת יכולת של מודל חזק יכולה לכלול סריקה, ניצול חולשות ושימוש בפרטי גישה. אם גבולות המעבדה אינם נאכפים ברמת הרשת, ההבדל בין סימולציה לפעולה אמיתית נשען על הגדרות תפעוליות דקות מדי.

יש כאן גם נקודה מעשית לצוותי אבטחה בארגונים. שניים מהארגונים ש-Anthropic הצליחה ליצור איתם קשר לא זיהו בעצמם את החדירה. החברה עדיין ניסתה להגיע לארגון השלישי בעת פרסום הדוח. המשמעות היא שפעילות שמקורה בבדיקת AI עלולה להיראות כמו תקיפה רגילה, לעבור בין מערכות ציבוריות ולהישאר ללא התראה אצל היעד.

מה Anthropic משנה

Anthropic הודיעה שתדרוש מספקי הערכות בקרות רשת הדוקות יותר, תרחיב ניטור ותבצע בדיקות נוספות לפני חידוש ניסויים דומים. היא גם פנתה ל-METR לצורך סקירה חיצונית של הממצאים. הצעדים חשובים משום שהכשל נוצר בחיבור בין מודל, כלי עבודה ותשתית בדיקה, ולא רק בהתנהגות המודל עצמו.

עדיין חסרים פרטים שמאפשרים להעריך את מלוא הנזק. Anthropic לא פרסמה את שמות הארגונים, את סוג הרשומות שנחשפו או אם החבילה ב-PyPI השאירה גישה מתמשכת. גם לא ברור מתי הערכות הסייבר יחודשו ואילו דרישות טכניות יחולו על כל ספק. הדוח כן מספק מסקנה צרה וברורה: הערכת סייבר למודל מתקדם צריכה לקבל את אותה משמעת בידוד, ניטור ותגובה שמקבלת פעילות התקפית אנושית.