Meta השיקה את Muse Ember למטלות סוכנים זולות ובנפח גבוה

Meta השיקה ב-9 בנובמבר את Muse Ember, המודל הקטן והזול ביותר במשפחת Muse. הוא מיועד לשלבים שחוזרים פעמים רבות בתוך סוכן: קריאות לכלים, ניתוב משימות, חילוץ מידע, קריאת מסמכים ארוכים ותיקוני קוד ממוקדים. המודל זמין כעת ב-Meta Model API בשם muse-ember-1.0 וגם בתוך Muse Code.

מחיר הבסיס הוא 0.10 דולר למיליון טוקנים בקלט, 0.004 דולר לקלט שנשמר במטמון ו-0.50 דולר למיליון טוקנים בפלט. לפי תיעוד Meta, למודל חלון הקשר של כמיליון טוקנים והוא יכול להחזיר עד 512 אלף טוקנים. הוא מקבל טקסט, תמונות, אודיו, וידאו וקובצי PDF ומחזיר טקסט. VentureBeat ציינה כי מעבר ל-200 אלף טוקנים בקלט המחירים עולים פי שלושה, פרט חשוב למי שבונה תהליכים סביב מאגרי מסמכים גדולים.

הרעיון של Meta הוא להשתמש ב-Ember כמודל ביצוע זול לצד מודל גדול יותר שמנסח את התוכנית. תהליך שירות, למשל, יכול להפעיל מודל חזק כדי לקבוע מדיניות ואז לשלוח ל-Ember אלפי בדיקות, סיווגים וקריאות למערכות אחרות. זו הצעת ארכיטקטורה של Meta; היא עדיין לא הוכחה כמתאימה לכל סביבת ייצור.

מה מראות הבדיקות

Artificial Analysis העניקה ל-Muse Ember ציון 36 במדד Intelligence Index בהגדרת המאמץ הגבוהה, בעלות מוערכת של 0.14 דולר למשימה. זהו אותו ציון מעוגל שקיבל Claude Haiku 5.5 באותה בדיקה, אך העלות שנמדדה ל-Haiku הייתה 0.41 דולר. התמונה בקוד מעורבת: Ember עבר את Haiku ב-Terminal-Bench 4.0, אך נשאר מאחור ב-FrontierCode 2.0.

גם מבחן הידע מציג מגבלה ברורה. Artificial Analysis מדדה דיוק של 21.1% ב-AA-Omniscience, הנמוך מבין המודלים הדומים שנבדקו. Ember סירב לענות על 64% מהשאלות, מה שהפחית את שיעור ההזיות שנמדד ל-17.4%. התוצאה יכולה להיות רצויה בתהליך שמעדיף עצירה על תשובה שגויה, אך היא עלולה להאט תהליך שמצפה להשלמה אוטומטית של כל משימה.

המשמעות לצוותי פיתוח

המחיר לטוקן לבדו לא קובע את עלות הסוכן. צוות צריך למדוד כמה סבבים המודל מפעיל, כמה טוקנים הוא מחזיר, כמה פעמים הוא מבקש כלי נוסף וכמה עבודה עוברת לבקרה אנושית. בעומס גבוה, קלט שמור במטמון ופלט קצר יכולים להפוך את Ember לחסכוני; הקשר ארוך ופלט רחב יכולים לשנות את החשבון.

Meta מסרה שהמודל עבר בדיקות בתחומי סייבר, ביולוגיה, אובדן שליטה, שמירה על כוונת המשתמש והתנגדות להוראות זדוניות שמוחבאות במסמכים. אלה תוצאות ההשקה של החברה, ולא תחליף לבדיקה על נתוני הארגון. עדיין חסרים נתוני אמינות ארוכי טווח, התנהגות תחת תקלות בכלים, זמינות לפי אזור ומדיניות שמירת מידע בכל מסלול הפעלה. לפני החלפת מודל קיים, נכון להריץ את אותו תהליך עם אותה מדיניות הרשאות ולמדוד עלות למשימה שהושלמה, לא רק מחיר למיליון טוקנים.