METR: קצב ההתקדמות של Anthropic כמעט הוכפל, אך הראיות המרכזיות הושחרו

ארגון המחקר העצמאי METR פרסם הערכה חריגה בהיקפה על קצב המחקר והפיתוח בתוך Anthropic. במשך 11 שבועות קיבלו החוקרים גישה לנתונים פנימיים, למדדי אימון ולראיונות עם עובדים. לפי ההערכה שלהם, היכולת של מודלי החברה במשימות מוגדרות היטב משתפרת כיום בערך פי שניים מהר יותר מאשר בתקופה שבין מרץ 2024 לאוקטובר 2025.

הסיפור קיבל עדכון מהותי בתוך חלון הסריקה כאשר AP בחנה את הדו״ח ואת תגובת Anthropic. זה חשוב מפני שהטענה אינה מגיעה רק מהחברה שמפתחת את Claude. מצד שני, גם הבדיקה החיצונית נשענה על מידע ש-Anthropic בחרה לחשוף, וחלק גדול מהחומר נשאר חסוי.

מה METR הצליחה למדוד

המדד המרכזי בדו״ח עוקב אחר התקדמות במבחני יכולת של מודלים פנימיים וציבוריים. METR חישבה האצה של פי 1.9 מאז אוקטובר 2025, עם טווח אי-ודאות של פי 1.5 עד פי 2.8. בבדיקות רגישות שונות התקבלו תוצאות שבין פי 1.1 לפי 2.9. לכן המספר אינו קצב קשיח, אלא אומדן שתלוי בבחירת המבחנים, בתיארוך גרסאות המודל ובאופן שבו מטפלים במבחנים שמתקרבים לרוויה.

החוקרים קבעו שההאצה לא נבעה מגידול מהיר יותר בכמות המחשוב ששימשה לאימון. הם מעריכים שרוב ההאצה הנוכחית קשורה לשימוש של עובדי Anthropic בכלי AI במהלך המחקר, אך מציגים זאת כהערכה עם אי-ודאות גבוהה. ראיונות וסקרים פנימיים הצביעו על חיסכון ניכר בזמן בחלק מהעבודה. אין מכאן הוכחה שמודלים מבצעים לבדם את השלבים החשובים ביותר באימון מודל חדש.

המגבלה העיקרית היא השקיפות

Anthropic קיבלה מראש זכות להשחיר מידע לא ציבורי. METR דיווחה שרוב הראיות שהשפיעו עליה במיוחד לא נכללו בגרסה הפומבית. החברה הסבירה שהפרטים עלולים לחשוף סודות מסחריים או לסייע למתחרים להאיץ את עבודתם. התוצאה היא שהציבור יכול לקרוא את המסקנות ואת חלק מהשיטה, אך אינו יכול לשחזר את הבדיקה או לבדוק את הנתונים המרכזיים בעצמו.

גם היקף העבודה השתנה במהלך ההערכה. רכיב שנועד לבדוק כיצד Anthropic מקצה משאבי מחשוב בוטל לפני שהחוקרים הגיעו למסקנות. הדו״ח כן מתאר גישה רחבה למדדי קדם-אימון, למידת חיזוק, יעילות וראיונות, אך תחזית לגבי מודל עתידי ופרטים על צווארי בקבוק הושחרו.

מה המשמעות למפתחים ולרגולטורים

אם מחזורי המחקר אכן התקצרו, בדיקות בטיחות, הערכות חיצוניות וכללי פריסה צריכים לעבוד בקצב גבוה יותר. מעבדות אחרות עשויות להתמודד עם אותה דינמיקה כאשר מודלים מסייעים בכתיבת קוד, בניתוח ניסויים ובתכנון ריצות אימון. עבור לקוחות עסקיים, המשמעות היא שיכולות, מחירים ומגבלות מוצר יכולים להשתנות מהר מכפי שתהליכי רכש ובקרה רגילים בנויים להתמודד.

מה שעדיין לא ידוע מהותי: האם ההאצה קיימת גם במשימות עמומות ויצירתיות, כמה ממנה נובע משינויים ארגוניים או מנתונים טובים יותר, והאם היא תימשך בשנה הקרובה. הדו״ח מספק הצצה חיצונית נדירה, אך הוא אינו ביקורת פתוחה ומלאה של Anthropic.