מחקר עומק
התלמיד ענה נכון. זה לא אומר שהוא יודע
מסמך תכנון בן 28 עמודים בדק מה נדרש כדי לבנות מורה ממוחשב לביולוגיה 5 יחידות. הדבר המעניין בו אינו הטכנולוגיה אלא ההודאה שבבסיס: המבחנים שבהם אנחנו מודדים הבנה בנויים כך שהם אינם מסוגלים לראות את מה שהתלמיד באמת מחזיק בראש. וכשמשנים את צורת המבחן, מה שמתגלה אינו נעים.
שאלו תלמיד בן שבע עשרה איך מולקולת איתות עוברת את המרחק אל הקולטן שלה, ותנו לו לסמן כמה תשובות. סביר שהוא יסמן את התשובה הנכונה: היא נעה לסירוגין, לפעמים לכיוון הקולטן ולפעמים ממנו. סביר גם, ובאותה נשימה, שהוא יסמן טענה שסותרת אותה לגמרי: הקולטן חש במולקולה ומושך אותה אליו.
זה לא מקרה נדיר. במחקר שבדק את הפריט הזה, כ-74 אחוזים בחרו נכון, ומתוכם 78 אחוזים אישרו גם את הטענה הסותרת. הנבדקים שם לא היו תלמידי תיכון אלא סטודנטים מתקדמים לביולוגיה מולקולרית, אחרי שנים של לימוד. המספרים פורסמו ב-2015 על ידי קאוץ', ווד ונייט, במסגרת מבחן סיכום לתואר ראשון בביולוגיה מולקולרית.
מסמך תכנון שהגיע למערכת השבוע מציב את הממצא הזה בפתח, ובונה עליו טענה שלמה. הוא נכתב כתשתית למורה ממוחשב אדפטיבי לביולוגיה ברמת 5 יחידות בישראל, בנושא מסלול המידע מ-DNA דרך RNA לחלבון. את המסקנה שלו הוא מנסח בשורה אחת: המטרה אינה להסביר לתלמיד DNA ו-RNA, אלא לבנות ולאמוד מודל של ההבנה שלו לאורך זמן.
ההבחנה נשמעת מופשטת והיא אינה. תשובה שנכתבת על המסך היא תצפית, דבר אחד שאפשר לספור. מה שהתלמיד מחזיק בראשו הוא מצב סמוי שאי אפשר לראות, רק להסיק מראיות מצטברות. מערכת שמתייחסת לתצפית כאילו היא המצב הסמוי תחגוג את התשובה הנכונה ותתקדם הלאה, בעוד התלמיד ממשיך לשאת מודל שבור.
מה שהמסמך לא ידע, ומה שהבדיקה שלנו העלתה, הוא שהמספרים שהוא פותח בהם מיוחסים אצלו למחקר הלא נכון. הוא מציג אותם כממצא ממחקר שווייצרי שבדק תלמידי תיכון. הם אינם שם. הם מופיעים שם רק כציטוט של מחקר אחר, בפרק הדיון. התיקון הזה דווקא מחזק את הטענה, משום שהמחקר השווייצרי מביא מספרים משלו, והם על בדיוק קבוצת הגיל שעליה המסמך מדבר.
המחקר הזה, של שאמפאן קלוז ועמיתיה מ-ETH ציריך, נערך על תלמידים בני שבע עשרה ושמונה עשרה, בשנתם האחרונה לפני האוניברסיטה. בשאלה כיצד מולקולה מוצאת את בן הזוג הנכון שלה ונמנעת מקשרים שגויים, כ-61 אחוזים בחרו בהסבר שמולקולות קשורות נכון מתאימות זו לזו בדיוק, כמו חלקי פאזל. בשאלה על התנתקות, כ-64 אחוזים נמשכו להסבר של תהליך פעיל ומכוון, וכ-15 אחוזים בלבד בחרו בתשובה הנכונה, שהתנגשויות עם מולקולות אחרות מפרידות ביניהן. בשאלה כיצד מולקולת ADP מוצאת את האנזים שימיר אותה ל-ATP, 60 אחוזים בחרו בשאיבה או במשיכה חשמלית, ולא בתנועה אקראית.
אותו מודל שגוי חוזר בשלוש השאלות: הכימיה של התא נתפסת כסדרה של פעולות מכוונות, לא כתוצאה של תנועה אקראית וסטטיסטיקה. ההיגד על חלקי הפאזל נבחר עדיין על ידי כ-30 אחוזים מהסטודנטים גם אחרי שנתיים של לימודי ביולוגיה בשתי אוניברסיטאות שווייצריות. שנתיים של הוראה לא הזיזו אותו.
כל עמודה היא שאלה אחרת, ולכן אין לסכם ביניהן. שלוש הראשונות הן תשובות שגויות שנבחרו על ידי תלמידי השנה האחרונה לפני האוניברסיטה בשווייץ. העמודה הרביעית היא אוכלוסייה אחרת: סטודנטים באותן שתי אוניברסיטאות אחרי שנתיים של לימודי ביולוגיה. בשאלת ההתנתקות, התשובה הנכונה נבחרה על ידי כ-15 אחוזים בלבד.
שאמפאן קלוז ואחרים, PLOS ONE, מאי 2017
השאלה המתבקשת היא למה זה לא התגלה קודם. התשובה פשוטה ומטרידה: צורת המבחן הסתירה את זה. כשיש תשובה אחת נכונה מתוך ארבע, אפשר להגיע אליה בפסילה ובניחוש בלי להחזיק את המושג, ואי אפשר לראות את ההיגד הסותר שהתלמיד היה מאשר לו רק נתנו לו. מפתחי מבחן המושגים לדוגמה המרכזית בתחום, שפורסם ב-2016, עברו לפורמט שבו יותר מהיגד אחד יכול להיות נכון בדיוק מהסיבה הזו. המסיחים שלהם לא הומצאו במשרד: הם נאספו מראיונות ומתשובות פתוחות של תלמידים, בשפתם שלהם. המבחן כולל 23 פריטים, נבדק על 1,733 נבדקים, ולא נמצא בו אפקט תקרה אפילו בקרב סטודנטים בשנה האחרונה לתואר בביולוגיה.
על מה כן יש ראיות חזקות. מטא-אנליזה מ-2014 שסקרה 225 מחקרים מצאה שלמידה פעילה משפרת ציוני מבחנים ב-0.47 סטיית תקן, וששיעור הכישלון בהוראה פרונטלית גבוה ב-55 אחוזים. המסמך מביא את המספר הזה, ומיד מסייג אותו בעצמו: כל 225 המחקרים נעשו בהשכלה גבוהה. אסור להעביר את גודל האפקט לתיכון ישראלי.
אותה זהירות נדרשת גם מהניסוי שמצוטט בדרך כלל כהוכחה שמורה AI עובד. הוא פורסם ביוני 2025 ונערך בסתיו 2023, בקורס המבוא לפיזיקה לתלמידי מדעי החיים בהרווארד, עם 194 סטודנטים שנכללו בניתוח מתוך 233 רשומים. חציון הציון בקבוצת ה-AI היה 4.5 לעומת 3.5 בכיתה, והעלייה ביחס למבחן המקדים הייתה יותר מכפולה. זה ממצא אמיתי, והוא מכסה שני שיעורים בלבד, בשני נושאים שהסטודנטים פגשו בפעם הראשונה. סטודנטים, באוניברסיטה, בפיזיקה, בארצות הברית. המסמך עצמו כותב שאין להסיק מכאן טענה כללית.
הניסוי שמעניין יותר הוא דווקא זה שבו המכונה לא מחליפה אף אחד. מערכת בשם Tutor CoPilot נבדקה על 900 מדריכים אנושיים ו-1,800 תלמידי בתי ספר מקהילות מוחלשות בארצות הברית, והציעה למדריך בזמן אמת מה לומר. התלמידים של מדריכים שקיבלו אותה היו בעלי סיכוי גבוה ב-4 נקודות אחוז להגיע לשליטה בנושא, ובקרב תלמידים של מדריכים שדורגו נמוך יותר הפער הגיע ל-9 נקודות. העלות: 20 דולר למדריך בשנה. ניתוח של יותר מ-550 אלף הודעות הראה מה בעצם השתנה. המדריכים עם המערכת שאלו יותר שאלות מנחות, ומסרו פחות את התשובה.
וכאן המסמך אומר את הדבר שלא ציפיתי למצוא בו. הסיכון העיקרי שהוא מזהה במערכת כזו אינו שהיא תטעה. הוא שהיא תעזור יותר מדי.
המצב שהוא מתאר מוכר לכל מי שראה תלמיד עובד מול מסך: הוא פותר נכון כל עוד הכלי לידו, והביצוע הזה נרשם כשליטה. כשהכלי נלקח, הידע אינו שם. המסמך קורא לזה שליטה מדומה, ודורש שהמדד המרכזי של כל הערכה יהיה ביצוע עצמאי בלי המערכת, במבחן חיצוני שלא הופיע באימון, ובמבחן נוסף ארבעה עד שישה שבועות לאחר מכן. מכאן נגזר הכלל הקשיח שהוא מציב לניסוח ההוראות: אל תפתור מיד בעיה אבחונית. קודם הוצא מהתלמיד תחזית או נימוק, ורק אחר כך תן תמיכה. זו בדיוק ההתנהגות שנמדדה במחקר המדריכים כשיפור.
על הקרקע הישראלית המסמך מתעקש על דבר אחד: הבסיס חייב להיות פורטל משרד החינוך ולא ספר לימוד ולא הידע הכללי של מודל. המספרים שם פשוטים ונבדקו ישירות. מקצוע הביולוגיה ברמת 5 יחידות מחולק ל-55 אחוזים תוכנית עיונית, 30 אחוזים עבודת חקר בהערכה חלופית ו-15 אחוזים מעבדה. "DNA, חלבון ומה שביניהם" הוא שם מדויק של יחידת הוראה בפורטל, לכיתות י' עד י"ב. "בקרה על ביטוי גנים והנדסה גנטית" מופיע שם כנושא העמקה, לא כנושא ליבה, הבחנה שהמסמך מטשטש. תוכנית הלימודים המלאה שמוצעת להורדה היא עדיין זו של 2015, בעדכון מיולי 2017.
ההמלצה שנגזרת מכך היא היחידה במסמך שהיא הנדסית ולא פדגוגית, והיא טובה: אסור לקודד את הסילבוס בתוך ההוראות של המודל. שנת הלימודים צריכה להיות שכבת נתונים נפרדת שמוחלפת בכל שנה. ההבדל בין נושא ליבה לנושא העמקה הוא בדיוק סוג הדבר שמשתנה בלי הודעה מראש, ושאסור שיהיה כתוב בתוך מודל.
מה שנשאר בסוף אינו מפרט למוצר. זו שאלה שקודמת לו. אם תלמיד יכול לסמן תשובה נכונה ולסמן לידה טענה שסותרת אותה, והמבחן הרגיל נותן לו ציון טוב, אז כל מערכת שתבנה על אותו מבחן תלמד ממנו את אותו דבר שגוי. המסמך הזה אינו מסביר איך לבנות מורה ממוחשב. הוא מסביר למה לפני שבונים אותו צריך כלי מדידה אחר.