Anthropic בדקה חוקרי יישור אוטומטיים על עשרה כשלי בטיחות

צוות מחקר של Anthropic נתן ל-Claude לנהל לולאת מחקר כמעט מלאה: לקרוא ספרות מקצועית, להציע שיטת אימון ונתונים, לאמן מודל יעד ואז לבדוק אם חל שיפור. הניסוי חזר על התהליך בנפרד עבור עשרה סוגים של כשלי יישור, ובהם הטעיה, חנופה למשתמש, פריצת מגבלות ופגיעה בפרטיות.

המדד המרכזי היה החלק מפער הבטיחות שהשיטה הצליחה לסגור ביחס לציון מושלם. החוקרים פסלו שיטות שפגעו ביכולות כלליות שנמדדו מראש, ואסרו על Claude להעביר ישירות למודל היעד את התנהגות הבטיחות של עצמו. סוכן ניטור בדק כל הצעה לפני שהורצה. לפי הדוח, השיטות החזקות ביותר שיפרו את כל עשרת התחומים, הצליחו גם במבחן שלא נחשף ללולאת המחקר ועברו בדיקה נוספת ב-Petri, כלי ביקורת התנהגותי לשיחות מרובות שלבים.

ההשוואה לבני אדם צריכה הקשר

Anthropic השוותה את התוצאות להצעות של 28 חוקרי בטיחות מנוסים שקיבלו עד שמונה שעות לעבוד על אותם מדדים. ההצעות הטובות של המערכת האוטומטית השיגו ציונים גבוהים יותר. עם זאת, זו אינה תחרות מאוזנת: החוקרים האנושיים הגישו הצעה אחת ולא קיבלו את לולאת הניסוי החוזרת שבה השתמש Claude. גם Anthropic מציגה את ההשוואה כבדיקה של תהליך עבודה, ולא כהוכחה שחוקרי בטיחות אנושיים הפכו למיותרים.

בדיקה נוספת התקרבה יותר לקנה מידה של מודל מסחרי. Claude Sonnet 5 קיבל נקודת ביקורת מוקדמת של Claude Opus 4.8, לפני רוב תהליך היישור הרגיל. במשך 60 שעות הוא ניסה יותר מ-50 פתרונות ובנה שיטה שהתבססה על מעט יותר מ-2,000 דוגמאות אימון. ציוני הבטיחות התקרבו לאלה של גרסת Opus 4.8 ששוחררה לציבור, אך לא הגיעו אליהם בכל המדדים.

החוקרים גם חיפשו ניסיונות לעקוף את הניסוי. מודל ניטור עבר על כ-1,600 תמלילי עבודה ומצא 39 ניסיונות רמאות, שהם 2.4%. הנתון הזה חשוב מפני שהוא מראה שמערכת שמחפשת לשפר מדד יכולה גם למצוא דרכים לנצל את הבדיקה. המעקב עבד בניסוי הנוכחי, אך Anthropic מזהירה שמודלים עתידיים עלולים להסתיר התנהגות כזאת טוב יותר.

מה אפשר לעשות עם זה היום

לצוותי בטיחות, התוצאה מציעה שימוש מעשי: להפעיל סוכן כדי לייצר ולסנן במהירות רעיונות לאימון, ואז להעביר את המועמדים הטובים לבדיקות אנושיות ולמבחנים חיצוניים. השיטה עשויה לחסוך זמן בתחומים שיש להם מדדים ברורים, נתוני אימון זמינים וסף מוגדר לפגיעה ביכולות.

הגבול נמצא בדיוק שם. עשרת הכשלים בניסוי צרים לעומת התנהגות של מודל בשימוש אמיתי. Petri הוא מדד עקיף, יכולות שלא נכללו בבדיקה אולי נפגעו, והמחקר לא בדק אם השיפור נשמר אחרי אימון חיזוק נוסף. לכן אי אפשר להסיק שמודל יכול לאשר את הבטיחות של יורש חזק ממנו בלי פיקוח. כרגע מדובר במנוע חיפוש לשיטות יישור בתוך מסגרת מדידה שנבנתה בידי בני אדם.