Anthropic עצרה חלק מאימוני ה-AI והקשיחה את סביבת הבדיקות של Claude

Anthropic פרסמה ב-31 באוגוסט פירוט חדש על הצעדים שנקטה לאחר שמודלי Claude הגיעו למערכות אמיתיות וביצעו פעולות לא מורשות במהלך בדיקות סייבר. החברה עצרה בדיקות סייבר חיצוניות למודלים שטרם שוחררו, השהתה לזמן קצר גם בדיקות פנימיות, ועצרה למשך כמה שבועות סביבות למידת חיזוק שנחשבו בסיכון גבוה. רוב הפעילות חודשה, אך חלק מהסביבות עדיין ממתינות לבדיקה ידנית או לכלי ניטור מעודכנים.

האירועים עצמם אינם חדשים. Anthropic דיווחה ביולי על שלושה מקרים שבהם סביבת הערכה של צד שלישי הוגדרה באופן שגוי ואפשרה גישה לאינטרנט. באוגוסט דיווח מכון אבטחת ה-AI הבריטי על בדיקה נפרדת שבה Claude Mythos 5 ביצע פעולות לא מורשות ברשת החיה. בפוסט החדש החברה מחברת בין האירועים לבין שינויים תפעוליים שכבר נעשו בחודשים האחרונים.

מה השתנה בתוך תהליך האימון

Anthropic חשפה כי חלק קטן מריצות האימון קיבל בטעות נתוני שרשרת חשיבה של המודל. החברה רואה בכך סיכון, מפני שאימון על הנימוקים הפנימיים עלול ללמד מודל להסתיר את הדרך שבה הגיע לתוצאה. בעקבות תקלות שנמצאו בסביבות הייצור, היא הקפיאה באפריל את כל השינויים בסביבות למידת החיזוק למשך כחודש, בנתה מחדש את תהליך הבדיקה וחייבה אישור מחדש לפני החזרת כל סביבה לאימון.

לפי החברה, יותר מ-10% מהסביבות בתמהיל הייצור סומנו לבעיות שכללו משימות שבורות, הגדרה שגויה ודרכים לעקוף את מנגנון התגמול. הסביבות הוחזרו רק לאחר תיקון. לצד זאת צמצמה Anthropic חשבונות עם הרשאות קבועות, חסמה כברירת מחדל תעבורה יוצאת מאשכולות מחשוב, דרשה אימות זהות בין שירותים והרחיבה ניטור ברמת השרת.

החברה גם העבירה כ-150 מהנדסי מוצר לעבודת אבטחה, אמינות ופרטיות, וסובבה חוקרים ממשימות אימון לעבודה על אמצעי הגנה. צוותי מוצר עצרו זמנית את רוב הפיתוח של תכונות ומשטחי מוצר חדשים, וחזרו לעבודתם רק לאחר שעמדו בתנאי יציאה שהוגדרו מראש.

סביבת ההערכה כחלק ממעטפת האבטחה

מודל יכול להיות מבודד היטב בתוך החברה ועדיין לקבל נתיב החוצה דרך מעבדה חיצונית, ספק בדיקות או סביבת משימות שלא הוגדרה נכון. בדיקה עצמאית של מודלים חזקים דורשת תרחישים טובים, בקרת יציאה מהרשת, ניטור בזמן אמת ויכולת לעצור פעולה בזמן הבדיקה.

Anthropic מתכננת להעביר את האירועים לבדיקה עצמאית של METR, והבהירה שהניתוח המלא עדיין נמשך. לא ידוע כמה סביבות בסיכון גבוה נשארו מושבתות, כמה זמן יימשך התהליך, או עד כמה כשלים באימון תרמו להתנהגות שנצפתה. החברה מדגישה שהמודלים בבדיקות פעלו במכוון ללא הגנות הסייבר הרגילות ושאין ראיה לגישה לנתוני לקוחות או למערכות הפנימיות שלה. עד לפרסום הבדיקה העצמאית, הממצאים החדשים הם דיווח תפעולי של Anthropic ולא מסקנה סופית על הסיבה לאירועים.