מחקר עומק
החשבון של סוכן תוכנה נקבע במה שהוא קורא שוב, לא במה שהוא כותב
מאמר חדש הריץ שמונה מודלים על 500 באגים אמיתיים, ארבע פעמים כל אחד, ומדד לאן הולך הכסף. על כל מילה שהסוכן כותב הוא קורא כ-150, והקריאה החוזרת היא ההוצאה הגדולה בכל אחד מחמשת שלבי העבודה. שני ממצאים נלווים פחות נוחים: הוצאה גבוהה אינה סימן למאמץ אלא לרוב לכישלון, ושני מודלים גובים יותר מכפול ממחיר המשימה רק כדי לנחש כמה היא תעלה.
אתם מוסרים לסוכן תוכנה באג אמיתי. הוא פותח קבצים, מריץ בדיקות, מתקן, מריץ שוב, ואחרי כמה דקות מודיע שסיים. בסוף החודש מגיע חשבון. השאלה הפשוטה, כמה המשימה הזאת הייתה אמורה לעלות, היא שאלה שאף אחד בשרשרת אינו יודע לענות עליה מראש. לא הספק, לא המשתמש, וכפי שיתברר, גם לא המודל עצמו.
מאמר חדש שעלה ב-arXiv בתחילת החודש ניגש לשאלה הזאת בשיטתיות. שמונה חוקרים, ממישיגן, מאוניברסיטת טקסס באוסטין, מסטנפורד, מ-All Hands AI, מגוגל דיפמיינד, ממיקרוסופט AI ומ-MIT, לקחו סוכן אחד והריצו אותו על 500 תקלות אמיתיות ממאגרי קוד בפייתון. שמונה מודלים שונים, ארבע הרצות של כל מודל על כל משימה, כדי להפריד בין הבדל אמיתי לרעש.
ההבדל בסדר הגודל ידוע פחות או יותר, אבל כדאי לראות אותו במספרים. שאלה שדורשת הסקה על קוד צורכת בממוצע 1,190 טוקנים ועולה 1.6 סנט. שיחה על קוד צורכת 3,390 טוקנים. משימה שמופקדת בידי סוכן צורכת 4.17 מיליון טוקנים ועולה 1.857 דולר. היחס מול שאלת ההסקה הוא 3,504.
המספר השלישי הוא זה שמסביר את כל השאר. היחס בין קלט לפלט בשאלת הסקה הוא 0.16, כלומר המודל כותב יותר ממה שהוא קורא. בשיחה היחס הוא 1.33. במשימת סוכן הוא 153.85. על כל מילה שהסוכן מייצר, הוא קורא בערך מאה וחמישים.
ההסבר אינו מסתורי, הוא מכני. מסלול של סוכן מוסיף להקשר בכל סיבוב: פלט של פקודה, תוכן של קובץ שנפתח, הודעת שגיאה של בדיקה שנכשלה. ההקשר אינו מתאפס בין סיבוב לסיבוב, ולכן כל צעד נוסף נושא על גבו את כל מה שקדם לו. אתם לא משלמים על מה שהסוכן כתב. אתם משלמים על מה שהוא כבר ראה, שוב ושוב.
ספקים יודעים זאת ומתמחרים הקשר חוזר בהנחה חדה. ובכל זאת, בכל אחד מחמשת שלבי העבודה שהמאמר מגדיר, הקטגוריה היקרה ביותר היא הקריאה החוזרת מהמטמון, גם בשלבים שבהם הסוכן כותב הכי הרבה. הנפח המצטבר פשוט גדול מספיק כדי להכריע את החשבון.
כאן נדרש תיקון. המאמר כותב שטוקן פלט מתומחר גבוה פי 80 בערך מקריאה מהמטמון. אותו פרק מצהיר שכל הניתוח שבו נעשה על Claude Sonnet 4.5, והמחירון של Anthropic, שהמאמר עצמו מפנה אליו, קובע לדגם הזה 15 דולר למיליון טוקני פלט מול 30 סנט למיליון טוקני קריאה. היחס הוא 50. התיקון אינו פוגע בטענה אלא מחזק אותה: אם הפלט יקר רק פי 50 ובכל זאת הקריאה החוזרת מכריעה, הנפח גדול אף יותר ממה שהמאמר חשב.
הערכים המדויקים במאמר הם 9.98, 30.37, 33.53, 16.59 ו-9.53 אחוזים. החקירה והתיקון יחד הם 63.9 אחוזים, כלומר כשני שלישים מהחשבון נשרפים לפני שלב האימות. בכל אחד מחמשת השלבים ההוצאה הגדולה ביותר היא קריאה חוזרת של הקשר שכבר נשלח.
arXiv:2604.22750v3, תרשים 8
חלוקת העבודה לשלבים מראה איפה זה קורה. ההקמה לוקחת כעשירית מהטוקנים. החקירה, שבה הסוכן מחפש איפה הבעיה, לוקחת כשלושים אחוזים. התיקון עצמו לוקח כשליש. האימות כשישית, והסגירה עוד כעשירית. החקירה והתיקון יחד הם 63.9 אחוזים, כלומר כשני שלישים מהחשבון נשרפים לפני שהסוכן בכלל מתחיל לבדוק אם מה שעשה עובד.
ועכשיו הממצא שהכי קל לפספס. כשהמשימות מסודרות לפי עלות ומחולקות לרבעונים, שיעור ההצלחה אינו עולה עם ההוצאה. הוא מגיע לשיא ברבעונים האמצעיים, ויורד ברבעון היקר ביותר. יותר כסף אינו קונה יותר דיוק.
המאמר מקשר זאת לתופעה שתוארה בספרות כהרחבת זמן בדיקה הפוכה, שבה חישוב נוסף פוגע בביצועים במקום לשפר אותם. ההסבר ההתנהגותי פשוט יותר: מסלול יקר אינו מסלול שעבד קשה, הוא לרוב מסלול שהלך לאיבוד. המשמעות המעשית למי שמשלם היא לא נעימה. החשבון הגבוה ביותר שתקבלו יהיה, בסבירות גבוהה, דווקא עבור המשימות שהסוכן לא הצליח לפתור.
אפשר היה לטעון שההבדלים בין המודלים נובעים מכך שאחד נפל על משימות קשות יותר. המאמר חוסם את הטענה הזאת בצורה נקייה. הוא מבודד 230 משימות שכל המודלים הצליחו בהן, ו-100 משימות שכולם נכשלו בהן, ובודק מחדש. דירוג היעילות נשמר בשתי הקבוצות. כשהמשימה זהה והתוצאה זהה, הפער בהוצאה נשאר, ולכן הוא תכונה של המודל ולא של העבודה.
ספירת הפעולות מראה במה מדובר. Kimi-K2 חוזר ופותח את אותו קובץ בכ-52 אחוזים מהצפיות שלו, וחוזר ועורך את אותו מקום בכ-50 אחוזים מהעריכות. GPT-5 חוזר על כ-27 אחוזים מהצפיות. יחד עם Sonnet 4.5, המודלים הבזבזניים צורכים יותר מ-1.5 מיליון טוקנים מעבר ל-GPT-5 על אותו אוסף משימות. סוכן יקר הוא, בפשטות, סוכן ששוכח איפה כבר היה.
אם אי אפשר לשלוט בעלות, אולי אפשר לפחות לנחש אותה. האוסף שבו נעשה השימוש מסמן כל משימה בתווית קושי שנתנו מהנדסים: פחות מרבע שעה, רבע שעה עד שעה, או יותר משעה. הקשר בין התווית לעלות קיים אך חלש, 0.32 במדד קנדל, וההתפלגויות נחתכות: 6.7 אחוזים מהמשימות שתויגו כקצרות ביותר צרכו יותר מהממוצע של הארוכות ביותר, ו-11.1 אחוזים מהארוכות צרכו פחות מהממוצע של הקצרות. הערכה אנושית של קושי אינה הערכה של מחיר.
נשארת אפשרות אחת: לשאול את המודל. החוקרים ביקשו מכל מודל לנבא, לפני שהוא מתחיל, כמה המשימה תצרוך. המתאם הגבוה ביותר שנמדד הוא 0.39, אצל Sonnet 4.5 על טוקני הפלט שלו עצמו. Gemini-3-Pro נע סביב 0.04, כלומר ניחוש. וכולם מטים לאותו כיוון: הם ממעיטים.
המספר שסוגר את הפרק הזה הוא היחס בין עלות הניבוי לעלות המשימה. אצל Sonnet 3.7 הוא 2.29, ואצל Sonnet 4 הוא 2.09. שני המודלים האלה גובים יותר מכפול ממחיר המשימה רק כדי לנחש מה יהיה מחיר המשימה, ואינם מגיעים בתמורה לניבוי הטוב ביותר. אצל Sonnet 4.5 היחס הוא 0.32 ואצל GPT-5.2 הוא מתחת לשש אחוזים, ולכן זו אינה גזירה משמיים אלא הבדל בין מימושים.
כמה הסתייגויות, והן חשובות. כותרת המאמר מדברת על סוכני AI, אבל כל הראיות שבו הן על כתיבת קוד בפייתון דרך מסגרת סוכן אחת. סוכן שמזמין טיסה או מסדר תיבת דואר לא נמדד כאן. בנוסף, התקציר של המאמר רחב מהנתונים שבגופו: הוא אומר פי 1,000 במקום 3,504 ו-1,230, והוא פותח בכך שהרצות יכולות להיבדל פי 30, בעוד שהיחס הממוצע על פני 500 המשימות הוא כפי 2. פי 30 הוא הקצה, לא הנורמה.
אבל הממצא המרכזי שורד את כל ההסתייגויות האלה, וגם את התיקון למחירון. המודל העסקי של סוכן תוכנה גובה לפי נפח, והנפח נקבע לא על ידי מה שהסוכן מייצר אלא על ידי כמה פעמים הוא חוזר לקרוא את מה שכבר קרא. זו עלות שאינה נראית מראש, שאינה מתואמת היטב לקושי, שאינה מתואמת להצלחה, ושהמערכת שמייצרת אותה אינה יודעת להעריך.
זה הגיליון שלנו היום, בצורה מרוכזת. בעמודים הבאים: סוכנים שערכו בוויקיפדיה בלי אישור, אתרים שמתחילים לחסום אותם, מערך הסייבר הישראלי שמבקש להגדיר מראש אילו החלטות אסור למסור למכונה, ומהנדסת שלפני שישים שנה אמרה שצריך לבנות הגנה בתוכנה מפני טעויות אנוש, ונדחתה בנימוק שאנשים מאומנים אינם טועים.