Anthropic הכניסה שישה אנשי METR למערך הערכת הסיכונים שלה

Anthropic הכניסה צוות של שישה אנשי METR לעבודה מתוך החברה עם גישה שדומה לזו של צוותי הערכת הסיכונים הפנימיים שלה. לפי ההודעה מ-15 באוקטובר, החוקרים קיבלו מחשבים של החברה, מקום עבודה וגישה לכלים ולמערכות פנימיות. METR אמורה לפרסם הערכות על סיכונים, תקריות ושיטות עבודה. זהו ניסוי בפיקוח חיצוני עמוק יותר מהערכה נקודתית של מודל, אך הוא עדיין הסדר פרטי בין מעבדת AI לבין גוף שהיא בחרה.

איזו גישה ניתנה

Anthropic מסרה שעובדיה יכולים לשתף את צוות METR במידע כפי שהיו משתפים עמית שעוסק בסיכוני התאמה. יש חריגים ברורים: מידע על לקוחות, חומר שמוגן בחיסיון עורך דין-לקוח ומידע על ארכיטקטורת המודלים אינם חלק מהגישה. הצוות החיצוני פועל תחת הסכמים מחייבים, ושאר אנשי METR מופרדים מהחומר שאליו נחשף הצוות המשובץ.

ל-METR ניתנה זכות לפרסם ניתוחים של רמות הסיכון, התקריות והנהלים שהיא בוחנת. Anthropic מצהירה שאין לה זכות וטו על הפרסום. היא כן יכולה לדרוש השחרה של מידע שנכנס לקטגוריות המצומצמות שהוגדרו מראש. במקרה כזה METR רשאית לציין בפומבי שהייתה השחרה, ואף לומר אם לדעתה הבקשה הייתה מוצדקת, בלי לחשוף את המידע עצמו.

למה ההסדר הזה שונה

בדיקה חיצונית רגילה מתמקדת לעיתים בגרסה מוגדרת של מודל ובסט מבחנים שנמסר מראש. צוות שיושב בתוך החברה יכול, לפחות עקרונית, לראות גם את הדרך שבה סיכונים נמדדים, כיצד תקריות מתועדות ואיך מתקבלות החלטות לאורך זמן. Reuters דיווחה שהוויכוח המרכזי בין מעבדות AI לבין בודקים חיצוניים הוא הגבול בין קניין רוחני לבין מידע שנדרש כדי להעריך סיכון. ההסדר החדש מנסה לקבוע את הגבול הזה מראש.

Anthropic בונה שלוש רמות גישה לבודקים. METR נמצאת ברמה העמוקה ביותר. SecureBio בוחנת כרגע את פרק הסיכונים הכימיים והביולוגיים בדו״ח הסיכונים של החברה עם גישה מוגבלת יותר. Anthropic עובדת גם עם Faculty של Accenture ונמצאת בשיחות מוקדמות עם גופים נוספים, ובהם Hugging Face. לכל שיתוף פעולה יש היקף גישה וזכויות פרסום שונים.

מה עוד לא ידוע

METR עדיין לא פרסמה דו״ח מהעבודה המשובצת, ולכן אין ממצאים שאפשר לבחון. גם לוח הזמנים, שיטת הדגימה והחומר שייכלל בדו״ח הראשון לא פורסמו. לא ברור כיצד יטופלו מחלוקות על השחרה, מה יהיו הסנקציות אם אחד הצדדים יפר את ההסכם, או אילו משאבים נוספים יידרשו מהבודקים.

חשוב גם להפריד בין גישה עמוקה לבין עצמאות מלאה. Anthropic בוחרת את הגופים, קובעת איתם חוזה ושומרת קטגוריות מידע מחוץ לתחום. ההסדר אינו ביקורת רגולטורית, רישוי ממשלתי או אישור בטיחות. הערך שלו ייקבע לפי הדו״חות שיופיעו בפועל, רמת הפירוט שלהם והיכולת של METR להסביר לציבור היכן הגישה נעצרה.