NaiveAI פתחה את Naive-N0.5-Flash: מודל 309B ברישיון MIT

NaiveAI פרסמה ב-27 בספטמבר את המשקולות ואת קוד ההרצה של Naive-N0.5-Flash. זהו מודל Mixture-of-Experts שמכיל 309 מיליארד פרמטרים בסך הכול ומפעיל 15.5 מיליארד מהם בכל טוקן. החברה מייעדת אותו בעיקר לכתיבת קוד ולעבודת מחקר ופיתוח של מערכות AI.

החלק הנגיש כבר עכשיו הוא מהותי: מאגר המודל ב-Hugging Face ומאגר הקוד ב-GitHub פתוחים ברישיון MIT. לפי נתוני Hugging Face, המאגר נוצר ב-27 בספטמבר בשעה 15:24 UTC. צוות שרוצה לבדוק את המודל יכול להוריד את משקולות FP8 ולהפעיל אותן בעצמו, בלי להמתין לשירות ענן של החברה.

איך המודל בנוי

Naive-N0.5-Flash מבוסס על MiMo-V2.5 של Xiaomi. NaiveAI החליפה את שכבות הקשב הגלובלי בשילוב של Sliding-Window Attention ו-DeepSeek Sparse Attention. רוב השכבות מסתכלות על חלון מקומי של 128 טוקנים, ותשע שכבות דלילות בוחרות עד 2,048 טוקנים מתוך ההיסטוריה. כך החברה מנסה לשמור על חלון הקשר מקורי של מיליון טוקנים בלי לחשב קשב מלא על כל הרצף בכל שכבה.

החברה מדווחת על המשך אימון בהיקף 3.25 טריליון טוקנים. היא גם טוענת שמערכת ההרצה NaiveRT מגיעה ל-50 טוקנים בשנייה למשתמש במצב רגיל ועד 2,000 טוקנים בשנייה במצב מהיר. אלה נתוני היצרן. בפרסום הנוכחי אין אימות עצמאי של קצב ההרצה, איכות התשובות או תוצאות המבחנים שמוצגות בכרטיס המודל.

מה נדרש כדי להריץ אותו

המשקולות לבדן תופסות כ-315 גיגה-בייט, וההוראות דורשות מעבדי NVIDIA שתומכים ב-FP8 וכן זיכרון נוסף בזמן הרצה. לכן המודל פתוח להורדה, אך אינו מוצר שאפשר להפעיל על מחשב משרדי רגיל. הערך המיידי שלו נמצא אצל מעבדות, חברות תשתית וצוותי פיתוח שכבר מחזיקים סביבת GPU גדולה ורוצים לבדוק מודל קוד ארוך-הקשר בשליטה מקומית.

חלון הקשר גדול יכול להתאים לניתוח מאגרי קוד או מסמכי מחקר ארוכים, אך המספר מיליון לבדו אינו מוכיח שהמודל זוכר כל פרט או משתמש בו נכון. בדיקה טובה צריכה לכלול שאלות שמפנות למידע רחוק בתחילת הרצף, ולא רק משימה קצרה שמוקפת בהרבה טקסט.

NaiveAI מציגה גם API ומחירים מתוכננים, אבל כרטיס המודל מתאר את הגישה כשירות שיינתן בהמשך. עד שהשירות ייפתח ויהיו מדידות מצד גורמים חיצוניים, אי אפשר להשוות בצורה נקייה בין עלות ההרצה שלו לבין מודלים מסחריים או פתוחים אחרים.

למפתחים כדאי להתחיל מבדיקה מוגבלת על מאגר קוד מוכר: למדוד זמן תגובה, שימוש בזיכרון, איכות תיקונים ויציבות לאורך רצפים גדולים. הרישיון מאפשר ניסוי רחב, אך גודל המשקולות מייצר עלות תשתית אמיתית. עדיין לא ברור אילו תצורות חומרה יידרשו למהירות המרבית, מתי ה-API ייפתח, וכיצד התוצאות יחזיקו מול מבחנים עצמאיים.