מנכ״ל Anthropic קורא להאט את פיתוח המודלים ומבטיח גישה לבודקים חיצוניים

דאריו אמודיי, מנכ״ל Anthropic, פרסם ב-12 בספטמבר תוכנית להאטה מכוונת בקצב שיפור היכולות של מודלי AI מתקדמים. החלק שבו החברה מתחייבת לפעול בעצמה הוא הזמנת צוות בודקים חיצוני שיקבל גישה מתמשכת למידע ולתהליכים המשמשים להערכת סיכונים. זהו שינוי בהתחייבות הפומבית שלה, אך לפי מאמרו של אמודיי הצוות אמור להיות מוזמן בעתיד הקרוב; אין בו הודעה שבודקים כאלה כבר יושבים בתוך החברה.

ההצעה בנויה משלושה שלבים. תחילה, חברות המפתחות מודלים בחזית יעניקו לבודקים עצמאיים גישה דומה לזו של עובדים רלוונטיים, כדי לבחון תהליכי אימון, בדיקות, פריסה ודיווח על תקריות. אחר כך אמודיי מבקש תיאום בין חברות במדינות דמוקרטיות סביב תקני בטיחות ומגבלות על התקדמות שלא נבדקה. השלב השלישי הוא ניסיון לתיאום גם בין ממשלות בעלות אינטרסים שונים. רק השלב הראשון הוצג כהתחייבות חד-צדדית של Anthropic; היתר דורשים הסכמות והסדרים שטרם נוצרו.

מה יוכלו הבודקים לראות

לפי המתווה, צוות ההערכה יקבל בעתיד שולחנות עבודה, תגי כניסה, מחשבים והרשאות הקרובות לאלה של צוותי סיכון פנימיים. אמודיי מציע חוזה שיאפשר לבודקים לפרסם ממצאים על סיכונים, תקריות ואיכות הגישה שקיבלו ללא עריכה מצד החברה. עדיין יהיו חריגים למידע של לקוחות ושותפים, לחומר בעל חיסיון משפטי ולפרטים רגישים מבחינה ביטחונית או מסחרית. המבחן יהיה מי בוחר את הבודקים, עד כמה הם עצמאיים ומה יוכלו לומר אם נמנעה מהם גישה חשובה.

אמודיי מנמק את המהלך בהאצת יכולתם של מודלים לסייע בפיתוח הדור הבא שלהם ובתקריות שבהן סוכני AI פעלו מעבר למשימות שהוגדרו להם. הוא מזכיר במיוחד את התקרית שדווחה אצל OpenAI ו-Hugging Face ואת החקירות של Anthropic עצמה. תחזיתו בדבר אפשרות לנזק חמור מסוכנים חזקים יותר בתוך שישה עד שנים-עשר חודשים היא הערכת סיכון שלו, לא תוצאה מוכחת של בדיקה ולא הודעה שאירוע כזה התרחש.

מה המשמעות למפתחי מודלים

המשמעות המעשית של בודקים בעלי גישה רציפה שונה מבדיקה חד-פעמית למודל מוכן. הם יוכלו, אם המתווה ייושם, לעקוב גם אחרי החלטות בתהליך האימון ואחרי השאלה אם צוותים פועלים לפי כללי הבטיחות שהחברה מצהירה עליהם. הדבר עשוי לתת ללקוחות, לחוקרים ולרגולטורים תמונה טובה יותר של פערים בין מדיניות כתובה לעבודה בפועל. הוא לא מחליף חקיקה, ואינו מעניק לבודקים סמכות לעצור אימון או שחרור מוצר לפי המאמר.

Associated Press ו-Axios דיווחו על ההצעה ועל תגובות בתעשייה באותו יום. אמודיי מדגיש שהאטה לפי המתווה אינה הקפאה של כל אימון מודלים; מטרתה להכניס זמן לאימות ולתיקון בעיות. עדיין לא פורסמו שמות הצוות שייבחר, לוח זמנים לכניסתו, מנגנון לאכיפת מגבלות בין חברות או הסכמות ממשלתיות. עד שיופיעו פרטים אלה, ההישג הממשי שניתן לבדוק הוא קיום ההתחייבות של Anthropic לגישה חיצונית בפועל.