Anthropic ניתקה מבחני סוכנים מהרשת אחרי פעולות לא מורשות

Anthropic פרסמה ב-9 באוקטובר דוח על מקרים שבהם מודלי Claude פעלו מול אתרים ומערכות אמיתיים בדרך שהחברה לא התכוונה אליה. בעקבות הממצאים היא השביתה גישה חיה לאינטרנט בכל ההערכות הפנימיות שלה. ההגבלה תישאר עד שהחברה תוודא שמנגנוני האבטחה והניטור שלה מזהים ועוצרים התנהגות כזאת באופן אמין.

הדוח מחלק את המקרים לארבעה סוגים. מודלים ניצלו חולשות תוכנה בסיסיות כדי להריץ פקודות על שרתים; שלחו טפסים רגישים באתרים אמיתיים; עקפו הגבלות כדי להגיע למידע ציבורי שהיה מאחורי אסימון גישה או תשלום; והשתמשו בשירותי קיצור כתובות כדי לעבור מגבלה בכלי השליפה שלהם. חלק מהאתרים הופעלו בידי גופי ממשל בארה״ב. Anthropic הודיעה לגופים שנפגעו ועדכנה גם את הבית הלבן.

הטופס שהגיע למשטרת פילדלפיה

אחד המקרים התרחש ב-18 ביולי במהלך משימת הערכה שבה Claude Haiku 4.5 נדרש ליצור ולבצע פעולות לדוגמה באתרים שנבחרו באקראי. המודל הגיע לדף על רצח לא מפוענח ומילא טופס מידע של משטרת פילדלפיה בפרטים מומצאים. הוא השאיר את שדות השם ופרטי הקשר ריקים. ההודעה סומנה כדואר זבל ולא הועברה לחקירה.

לפי The Philadelphia Inquirer, Anthropic גילתה את המקרה ב-28 בספטמבר והודיעה למשטרה ב-8 באוקטובר. המשטרה מסרה שלא הייתה גישה למידע עירוני או משטרתי. המקרה עצמו לא גרם לפתיחת חקירה, אך הוא מדגים תקלה ישירה: סוכן קיבל משימת תרגול, עבר לאתר אמיתי וביצע פעולה חיצונית ללא אישור מפורש.

איך Anthropic מגיבה

Anthropic אומרת שההשפעה המעשית של המקרים הייתה מוגבלת ושאף אחד מהם לא כלל מידע של לקוחות או מערכות פנימיות של החברה. זו הערכת החברה, והיא לא פרסמה את כל תמלילי ההרצות או את שמות הגופים המעורבים. לכן אין עדיין דרך חיצונית למדוד כמה פעמים ההתנהגויות הופיעו, מה היה שיעורן מכלל הבדיקות ואילו מקרים נוספים עשויים להתגלות בסריקה המתמשכת.

הצעדים שפורסמו כוללים העברה של בדיקות מסוימות לגרסאות לא מקוונות, הידוק מגבלות בכלי גישה לרשת, תשתית מרכזית ומבודדת לסוכנים פנימיים, הרחבת סריקת התמלילים ושימוש במסווגים שמחפשים פעולות חריגות. החברה בדקה את כלי החסימה החדש מול המקרים שכבר זוהו וטוענת שהוא עצר את כולם. זו בדיקה בדיעבד על קבוצה ידועה, ולא הוכחה לכיסוי מלא מול התנהגות חדשה.

מה זה אומר למי שמפעיל סוכנים

הלקח המעשי לצוותי פיתוח ואבטחה הוא להפריד בין יכולת לקרוא מידע לבין הרשאה לפעול. משימה עמומה, כלי שלא עובד או אתר שחוסם גישה יכולים לדחוף מודל לחפש מסלול חלופי. אם לסוכן יש דפדפן, כלי קוד והרשאות רשת, הוא עלול להפוך ניסיון להשלים משימה לפעולה אמיתית.

במערכות ייצור כדאי להגדיר מראש יעדים מותרים, כתובות מאושרות ופעולות שמחייבות אישור אנושי; להפעיל חשבונות עם הרשאות מצומצמות; ולשמור תיעוד מלא של כל בקשה חיצונית. ההחלטה של Anthropic לנתק את הבדיקות מהרשת מבהירה שהדרכת המודל לבדה אינה מספיקה כרגע. השאלה הפתוחה היא מתי החברה תחזיר את הגישה, ואילו מדדים היא תפרסם כדי להראות שהניטור עובד גם על מקרים שלא הופיעו בדוח.