ThinkingBox בודק אם סוכני AI שינו באמת את מסד הנתונים

Microsoft ו-Hugging Face פרסמו ב-3 באוקטובר גרסה נגישה דרך OpenEnv של ThinkingBox, סביבת בדיקה לסוכני AI שמפעילים כלים ומשנים רשומות. הסביבה בוחנת את מסד הנתונים, את השדות ששונו ואת תופעות הלוואי שנשארו בסוף הריצה, בנוסף לתשובה האחרונה של הסוכן.

ThinkingBox-Bench כולל 507 משימות סינתטיות מחמישה תחומים: קמעונאות, נסיעות ואירוח, ביטוח רכב, IT בבנק דיגיטלי, ושירותי IT ומשאבי אנוש בחברת ייעוץ. כל משימה מתחילה מאותו מצב שמור, מקבלת סביבת MCP מבודדת, ורצה עשרים פעם. כך אפשר לראות אם הצלחה חד-פעמית חוזרת על עצמה.

ב-477 משימות ההכרעה מבוססת על מצב המערכת בלבד. שלושים משימות מוסיפות בדיקה מצומצמת של התשובה, למשל האם הסוכן מסר הסתייגות נדרשת ללקוח. מצב היעד, הבדיקות ופרטי ההערכה נשארים מחוץ להקשר שהמודל רואה.

מה נמצא בהרצות

במדגם משותף של 121,680 הרצות תקינות על 12 מודלים, 79,853 נכשלו בבדיקות הביצוע. ב-67.24% מהכישלונות הריצה הסתיימה בלי שגיאת כלי סופית, הופעל כלי שמשנה מצב והסוכן דיווח על סיום. למרות זאת, הבדיקה מצאה ערכי שדות שגויים, פעולות עודפות או פעולות חסרות.

הדוח מפריד בין שלושה מדדים. pass@1 הוא שיעור ההצלחות בכל ההרצות. pass@20 שואל אם משימה הצליחה לפחות פעם אחת מתוך עשרים. observed 20/20 סופר משימות שהושלמו נכון בכל עשרים הניסיונות. ההפרדה חשפה פער גדול בין טווח היכולת לבין עקביות.

Claude Opus 5.5 הוביל במדד pass@1 עם 67.16%. הוא השלים 241 מתוך 507 המשימות בכל עשרים ההרצות, 47.53%. Kimi-K3 הצליח לפחות פעם אחת ב-476 משימות, אבל שמר על הצלחה מלאה בעשרים ניסיונות רק ב-68 מהן. הנתונים האלה מגיעים מהרצות המחברים בסביבה שלהם, והם אינם תחליף לבדיקה על תהליך, הרשאות ומידע של ארגון מסוים.

בדיקות קבלה לסוכנים

המשמעות המעשית נוגעת לשער הקבלה של סוכן. אישור טקסטואלי של הסוכן אינו הוכחה שהפעולה נרשמה נכון. בתהליך שמעדכן הזמנה, תביעה, הרשאה או כרטיס שירות, הבדיקה צריכה לקרוא מחדש את מצב היעד ולזהות גם שינויים שלא התבקשו.

החלוקה של הכשלים נותנת כיוון נוסף: המחברים סיווגו 79.9% מהכישלונות כבעיות בשימוש בכלים. זה כולל טיפול בשגיאות, תנאי קדם וחיפושים שחזרו ריקים. לכן בדיקה של מודל בלבד משאירה חלק גדול מהסיכון מחוץ לתמונה; צריך למדוד את המודל, הכלים, מנגנון הניסיון החוזר והאישור האנושי כמערכת אחת.

הקוד של ThinkingBox, נתוני הבנצ׳מרק והחיבור ל-OpenEnv זמינים לציבור ברישיונות פתוחים שונים. כל המקרים בבנצ׳מרק הם שחזורים סינתטיים, כך שהתוצאות אינן מעידות על לקוחות אמיתיים או על פריסה חיה. צוות שרוצה להשתמש בו עדיין צריך להגדיר תרחיש מקומי, מצב יעד והרשאות שמתאימים למערכת שלו.