מודלי AI סיניים נכנסים לשימוש שוטף בארה״ב, והמחיר דוחף את האימוץ

מודלי AI סיניים מתחילים לעבור מטבלאות השוואה לכלי עבודה יומיומיים בארצות הברית. דיווח של Associated Press שפורסם ב־26 ביולי מתאר מנהלי טכנולוגיה ומפתחים שבוחנים או משתמשים ב־Kimi של Moonshot AI ובמודלים סיניים נוספים בגלל מחיר, יכולות תכנות והאפשרות להריץ משקולות פתוחות מחוץ לשירות ענן סגור.

אחד הסימנים הבולטים הוא קצב ההורדות של Kimi אחרי הצגת K3. חברת המחקר Sensor Tower העריכה עבור AP כי האפליקציה נרשמה ביותר מ־930 אלף הורדות בשבוע שלאחר ההשקה, עלייה של יותר מ־200% לעומת השבוע שקדם לה. זהו נתון של חברת מדידה חיצונית ולא מספר מבוקר של Moonshot, והוא כולל הורדות ברחבי העולם. הוא אינו מספר כמה משתמשים נשארו פעילים או כמה ארגונים הפעילו את המודל בסביבת ייצור.

למה המחיר משנה את הבחירה

עבור צוות תוכנה, מודל זול יותר יכול לשנות את היקף השימוש. בדיקת קוד על כל שינוי, עיבוד מאגר מסמכים או הפעלה רציפה של סוכן מייצרים כמות גדולה של טוקנים. פער קטן במחיר של בקשה הופך להוצאה חודשית משמעותית. משקולות פתוחות מוסיפות אפשרות להריץ את המודל על תשתית פרטית, לכוון אותו למשימה מוגדרת ולהחליף ספק בלי לשכתב את כל המוצר.

Kimi K3 מושך תשומת לב מפני ש־Moonshot מציגה אותו כמודל גדול במיוחד, עם 2.8 טריליון פרמטרים וחלון הקשר של מיליון טוקנים. הארכיטקטורה מפעילה בכל בקשה רק חלק מהפרמטרים, ולכן המספר הכולל אינו מתורגם ישירות לעלות הרצה. EL PAÍS דיווח כי פרסום המשקולות המלאות נקבע ל־27 ביולי, מה שמאפשר לחוקרים ולחברות לבדוק את המודל מחוץ לממשק המסחרי של Kimi.

הבדיקה הארגונית צריכה להיות רחבה יותר מבנצ'מרק

חברה אמריקאית ששוקלת מודל סיני צריכה למדוד איכות על הנתונים שלה, זמני תגובה, דרישות חומרה ועלות כוללת של תפעול. עליה לבדוק גם רישיון, טיפול בנתונים, עדכוני אבטחה ומקור רכיבי התוכנה. משקולות פתוחות מאפשרות יותר שליטה בפריסה, אך הן אינן חושפות בהכרח את נתוני האימון או פותרות שאלות של זכויות יוצרים וממשל נתונים.

יש כאן גם סיכון רגולטורי. יחסי ארצות הברית וסין בתחום השבבים וה־AI משתנים במהירות, ולכן מוצר שנבנה סביב מודל מסוים עלול להיתקל בהגבלות רכש, חובות דיווח או התנגדות מצד לקוחות. מצד שני, עצם הזמינות של חלופות זולות מפעילה לחץ על ספקיות אמריקאיות לשפר מחיר וגמישות.

הדיווחים הנוכחיים מוכיחים עניין ושימוש ראשוני, לא מעבר רחב של השוק. אין עדיין נתון מוסכם על נתח השימוש של מודלים סיניים בארגונים אמריקאיים, על שיעור השימור של המשתמשים או על החיסכון בפועל לאחר עלויות חומרה ותפעול. אלה המדדים שיבהירו אם Kimi ודומיו הופכים לתשתית קבועה או נשארים כלי משלים לצוותים שמחפשים חלופה.