מחקר עומק
השבב כבר לא רעב לחישוב. הוא רעב לנתונים
מאיץ ה-AI החדש של אנבידיה מסוגל לבצע כ-2,273 פעולות על כל בית שהוא מצליח לשאוב מהזיכרון. הדור הקודם הסתפק ב-1,875. הפער הזה, שגדל ולא מצטמצם, הוא הסיפור האמיתי של חומרת הבינה המלאכותית ב-2026.
נתחיל בשני מספרים שנראים כמו בשורה טובה. Blackwell Ultra, המאיץ שאנבידיה משווקת היום, מגיע לכ-8 טרה-בייט לשנייה של רוחב פס לזיכרון ולכ-15 פטה-פלופס בפורמט NVFP4. Rubin, הדור הבא, מדבר על 22 טרה-בייט לשנייה ועל 50 פטה-פלופס. רוחב הפס גדל פי 2.75. כוח החישוב גדל פי 3.33.
עכשיו חלקו אחד בשני. היחס שמתקבל נקרא בעגה המקצועית נקודת האיזון, והוא אומר כמה פעולות חשבון המאיץ חייב לבצע על כל בית שהוא מביא מהזיכרון כדי שיחידות החישוב שלו לא ישבו בטלות. ב-Blackwell Ultra היחס הזה עומד על כ-1,875. ב-Rubin הוא עולה לכ-2,273. כלומר הדור החדש דורש מהתוכנה לעבוד קשה יותר, לא פחות, כדי לנצל אותו.
מתחת לרף הזה יחידות החישוב ממתינות לנתונים. שימו לב ש-Rubin, החדש מכולם, דורש את היחס הגבוה ביותר. זו אינה השוואת ביצועים: היצרנים סופרים פורמטים ופעולות באופן שונה, והמספרים הם מפרטי יצרן שחלקם מוקדמים.
מקור: חישוב מתוך מפרטי היצרנים, כפי שרוכזו במחקר העומק של המהדורה
זה בדיוק ההפך ממה שהאינטואיציה אומרת, וזו הנקודה. במשך שני עשורים המדד שכולם הסתכלו עליו היה מהירות החישוב. המחקר שלפנינו טוען שהמדד הזה כבר אינו מתאר את המגבלה. החישוב נעשה זול וצפוף מהר יותר מהיכולת להזין אותו בנתונים, ולכן השאלה הארכיטקטונית עברה מכמה פעולות אפשר לבצע, לכמה בתים אפשר להביא, מאיפה, באיזו אנרגיה, וכמה פעמים משתמשים בהם שוב.
כדי להרגיש את זה בגוף, קחו מודל היפותטי של 70 מיליארד פרמטרים בדיוק BF16. המשקולות שלו תופסות כ-140 ג'יגה-בייט. כשמייצרים מילה אחת עבור משתמש יחיד, המאיץ צריך לקרוא את כולן. בגבול פיזיקלי אידיאלי לחלוטין, מאיץ עם 22 טרה-בייט לשנייה יסרוק אותן בכ-6.36 מילישניות, כלומר כ-157 מילים בשנייה לכל היותר. עם 8 טרה-בייט לשנייה מדובר בכ-57 מילישניות. זה לא מדד ביצועים אלא תקרה: מתחתיה נמצאים עוד המון דברים שגוזלים זמן.
שימו לב מה לא מופיע בחישוב הזה. כוח החישוב של המאיץ אינו מופיע בו כלל. בשלב הזה, שנקרא Decode ושבו נוצרת מילה אחת בכל סבב, יחידות ה-Tensor Core היקרות פשוט אינן הגורם המגביל. רוחב הפס לזיכרון הוא שקובע כמה מהר הצ'אט עונה לכם.
המחקר מתעקש שאין קיר אחד אלא שרשרת. יש קיר רוחב פס, שהוא כמה בתים לשנייה אפשר לשאוב. יש קיר קיבולת, שהוא כמה מצב בכלל נכנס לזיכרון המהיר. יש קיר תקשורת בין מאיצים, שנפתח כשמודל אחד כבר לא נכנס לשבב אחד. ויש קיר הספק, כי כל העברת נתונים עולה אנרגיה. איזה מהם דומיננטי משתנה לפי מה שעושים.
הזיכרון הזמני של השיחה, שנקרא KV cache, ממחיש את קיר הקיבולת היטב. בתצורה היפותטית של 80 שכבות, שמונה ראשי מפתח, ממד ראש 128 ודיוק BF16, כל מילה בשיחה תופסת כ-320 קילו-בייט. בשיחה של 128 אלף מילים מדובר כבר בכ-39 ג'יגה-בייט, ובשרת שמטפל ב-32 שיחות במקביל נדרש יותר מטרה-בייט אחד, עוד לפני שספרנו את המשקולות עצמן. זו הסיבה שכל הטכניקות לדחיסת הזיכרון הזה אינן שיפורים קטנים אלא ניהול משאב במחסור.
האנרגיה היא הצד שפחות מדברים עליו. העברת ביט ממקום למקום עולה אנרגיה, וככל שהמרחק גדל המחיר עולה. תא זיכרון מקומי על השבב עשוי לעלות בסביבות עשירית פיקו-ג'אול לביט בתנאים מסוימים. חיבור בתוך המארז שאנבידיה מדדה בדור Hopper עמד על כ-1.3. זיכרון HBM3E נמצא לפי סקירה מ-2026 בסביבות 3.4. ההפרש נשמע זניח עד שמכפילים אותו. מאה טרה-בייט לשנייה, כפול שמונה ביטים, כפול 2.4 פיקו-ג'אול לביט, הם קרוב לשני קילוואט. רק כדי להזיז את הביטים, לפני שחישבנו משהו.
מכאן מובן למה הפתרונות מתחלקים לשלוש משפחות. אפשר להעביר יותר בתים, וזה עולם ה-HBM4, האריזה המתקדמת והתקשורת האופטית. אפשר להעביר פחות בתים, וזה עולם הקוונטיזציה, הדחיסה ואלגוריתמים כמו FlashAttention שדואגים שנתונים יישארו קרוב לחישוב. ואפשר להפסיק להעביר אותם בכלל, ולהזיז את החישוב אל תוך הזיכרון.
בחזית הראשונה יש תנועה אמיתית. מיקרון דיווחה על משלוחים בכמות של HBM4 כבר ברבעון הראשון של 2026 עבור פלטפורמת Rubin, עם 36 ג'יגה-בייט לערימה ויותר מ-2.8 טרה-בייט לשנייה. סמסונג הודיעה בפברואר על מוצר מסחרי המגיע עד כ-3.3, והציגה במאי דגימות של הדור הבא סביב 3.6. עם זאת המחקר מזהיר במפורש: ל-HBM5 אין עדיין מפרט ציבורי סופי, וכל מספר שמוצג לגביו הוא תחזית תעשייתית ולא עובדה.
החזית השלישית, זו שמזיזה את החישוב אל הזיכרון, היא המעניינת ביותר ובוגרת פחות. קוואלקום, למשל, מפרסמת עבור AI250 נתון של 133 טרה-בייט לשנייה לכרטיס, פי 18 מהדור הקודם. החברה עצמה מדגישה שמדובר ברוחב פס אפקטיבי ולא ברוחב הפס הגולמי של ממשק הזיכרון, ולכן אי אפשר להניח אותו ליד 22 של Rubin ולהשוות. ההבחנה הזאת חשובה יותר מהמספר.
המסקנה של המחקר היא שצוואר הבקבוק האמיתי ב-2026 אינו רכיב אלא יכולת: להציב את הנתון הנכון ליד יחידת החישוב הנכונה בזמן הנכון, במינימום בתים ובמינימום ג'אולים. הכותב מעריך, ומסמן זאת במפורש כהערכה שלו ולא כעובדה, שהמאיץ של סוף העשור לא יהיה ניצחון של טכנולוגיה אחת אלא הכלאה: חישוב גמיש, זיכרון מהיר עצום על השבב, HBM כשכבת קיבולת, מנועים שיושבים ליד הזיכרון ותקשורת אופטית בין מדפים. ואם כך, המונח ארכיטקטורת שבב יוחלף בהדרגה בארכיטקטורת מדף.