מחקר עומק
שירי המודל דורגו גבוה יותר. התווית הורידה אותם
בניסוי אחד, על אותם עשרה שירים, נמדדו שני דברים הפוכים: כשהמודל באמת כתב הדירוג עלה, וכשנאמר לקורא שמודל כתב הדירוג ירד. מאז 2 באוגוסט חובה באירופה לומר לקורא. מסמך הערכה שהגיע למערכת מציע לשאול לא אם אפשר להבחין, אלא מה בכלל נמדד כשאומרים אותנטי.
המילה אותנטי נשענה מאות שנים על הנחה שקטה אחת: שאפשר להסיק מהצורה על המקור. מכתב מגושם נכתב בידי אדם, ושיר שנון דרש משורר. ההנחה הזו נשברה, ואפשר להצביע על הניסוי שמראה איפה בדיוק.
בנובמבר 2024 פרסמו בריאן פורטר ואדואר מאשרי ב-Scientific Reports שני מחקרים שהורצו על אותם עשרה שירים. חמישה של משוררים ידועים, וחמישה שמודל ייצר בסגנונם. המערכת קראה את המאמר במלואו, ולא את התיאור שלו.
במחקר הראשון התבקשו המשתתפים לומר על כל שיר מי כתב אותו. דיוק הזיהוי היה 46.6 אחוזים על פני 16,340 שיפוטים. זה לא נכשל להיות טוב מהמקרי. זה היה גרוע מהמקרי, ברמת מובהקות גבוהה: שיר של משורר אנושי זוהה כאנושי בסיכוי נמוך יותר משיר שהמודל כתב.
והם לא ניחשו באקראי. ההסכמה ביניהם הייתה גבוהה מהמקרי, כלומר הם השתמשו בכללי אצבע משותפים. הכללים פשוט היו הפוכים. הם הניחו שמודל אינו יודע לחרוז, ובפועל 89 אחוזים משירי המודל חרזו בכל השורות לעומת 40 אחוזים משירי האדם. גם הביטחון לא עזר: משתתף בטוח יותר טעה יותר.
המחקר השני ביקש דירוגים ולא זיהוי, ושינה שני דברים בנפרד: מי באמת כתב, ומה נאמר למשתתף על מי שכתב. בסולם של שבע, כשנאמר למשתתף שמודל כתב, הדירוג ירד ב-0.814 נקודות לעומת כשנאמר לו שאדם כתב. וכשהמודל באמת כתב, הדירוג עלה ב-1.045 נקודות.
הפרשי דירוג איכות כוללת, בנקודות, בסולם של שבע. שתי העמודות הראשונות נמדדו באותו מחקר ועל אותם שירים, והן אינן סותרות: האחת על מי שכתב באמת, השנייה על מה שנאמר לקורא. העמודה השלישית היא סכום השתיים, וחושבה כאן ואינה מצוטטת.
Porter ו-Machery, Scientific Reports כרך 14, נובמבר 2024, doi 10.1038/s41598-024-76900-1
שני המספרים נמדדו באותו מחקר, על אותם שירים, מאותם משתתפים, והם מצביעים לכיוונים הפוכים. הדפוס חוזר ב-13 מתוך 14 ממדי האיכות שנבדקו, וכל חמשת שירי המודל דורגו מעל כל חמשת שירי המשוררים.
הממד היחיד שבו הדפוס נשבר הוא מקוריות. שם התווית עדיין מורידה, אבל מחבר אנושי אמיתי אינו מקבל יתרון מובהק. מה שהקורא חושב שהוא מגן עליו כשהוא מעניש תווית AI הוא בדיוק הממד היחיד שבו לאדם אין יתרון נמדד.
ביוני 2025 הגיעה הגרסה הנקייה עוד יותר של אותו דבר. תוכנית מחקר ב-Nature Human Behaviour, תשעה מחקרים ו-6,282 משתתפים, בהובלת מתן רובין ופרופ' ענת פרי מהמחלקה לפסיכולוגיה באוניברסיטה העברית בירושלים, יחד עם חוקרים מ-Harvard Business School ומאוניברסיטת טקסס. הנבדקים קיבלו תשובות אמפתיות למצב רגשי שתיארו, ודירגו אותן.
בכל הזרועות, בכל תשעת המחקרים, כל התשובות נוצרו על ידי מודל. אף תשובה לא נכתבה בידי אדם. מה שהשתנה הוא התווית. תשובות שיוחסו לאדם דורגו כאמפתיות ותומכות יותר, ועוררו יותר רגשות חיוביים. ההפרש אינו בין כתיבה אנושית לממוכנת. הוא בין שתי תוויות על אותו טקסט.
ממצא נוסף באותה עבודה חד עוד יותר. כשמשתתף פיתח מיוזמתו חשד שמודל סייע בתשובה שיוחסה לאדם, האמפתיה הנתפסת ירדה. לא נדרשה תווית. החשד לבדו הספיק.
מחקר שלישי, של דוריגוני וג'ארדינו ב-Frontiers in Psychology, מראה מה קורה כשהגילוי מגיע באיחור. שם נבדקו מסרים בהקשרים רגשיים כבדים, לידה מול מחלה סופנית, המיוחסים לחבר קרוב, לחנות פרחים, לגוגל ול-ChatGPT. רמזים אנושיים מעלים את ההערכה עד לרגע החשיפה, ואז היא קורסת. הייחוס ל-ChatGPT הוליד את הירידות החדות ביותר באותנטיות ובכבוד מוסרי.
וכאן המקום לעצור, כי הקריאה הקלה שגויה. זו אינה שנאה למכונה. באותה ספרות מתועדת גם התופעה ההפוכה: במשימות שנתפסות כמדידות ואובייקטיביות אנשים מעדיפים דווקא את המלצת האלגוריתם על פני עצה אנושית. הסלידה מתרכזת בדיוק במשימות שנתפסות כסובייקטיביות או כדורשות שיפוט אנושי. השאלה אינה אם הקורא סומך על מכונות, אלא באיזו קטגוריה הוא סיווג את מה שלפניו.
כל זה היה נשאר במעבדה אלמלא תאריך אחד. מ-2 באוגוסט 2026 חל סעיף 50 לחוק ה-AI האירופי. הוא מחייב ספק להבטיח שאדם שמתקשר עם מערכת AI יידע זאת, אלא אם זה מובן מאליו, ומחייב שתוכן סינתטי, שמע, תמונה, וידאו או טקסט, יסומן בפורמט קריא-מכונה וניתן לזיהוי כמלאכותי. המערכת בדקה את הנוסח ואת תאריך התחולה בטקסט החוק עצמו ולא בסיכום שלו.
המחוקק האירופי לא עסק בדירוגי איכות ולא התיימר לעסוק בהם. מטרת הסעיף היא שאדם יידע עם מה הוא מתקשר, וזו מטרה שקשה להתווכח איתה. מה שאפשר לומר בביטחון הוא צר יותר ומעניין לא פחות: הרמז שהניסויים מראים שהוא משנה שיפוט בנפרד מהתוכן הפך בעשרים ושבע מדינות מרמז אופציונלי לחובה.
התרומה של המסמך שהגיע למערכת אינה מספר אלא הפרדה. הוא טוען שהמילה אותנטי החזיקה כל הזמן חמש שאלות נפרדות שנסעו יחד: מאיפה הטקסט הגיע, מי הפעיל עליו שיקול דעת, האם הוא מבטא את מה שהשולח באמת חושב, מה הוא מחייב את השולח כלפי המקבל, ואיך המקבל מפרש אותו. כל עוד אפשר היה להסיק מהצורה על המקור, התשובה לאחת הייתה תשובה לכולן. עכשיו צריך לשאול אותן אחת אחת.
ומה שהמסמך עצמו אוסר להדפיס חשוב לא פחות ממה שהוא מתיר. אסור לומר שתוצר של מודל הפך לבלתי ניתן להבחנה: זה נמדד בניסויים מסוימים, ובניסוי אמנות שהוא עצמו מביא הנבדקים דווקא הבחינו מעל הסף. אסור להסיק מכאן דבר על תודעה או רגש של מודל. ואסור לכתוב שהפרמיה על מקור אנושי תגדל ככל שה-AI יתפשט. המסמך מסמן זאת כסביר וכחסר ראיות אורך, ולכן זה אינו מופיע.
המערכת קראה כל אחד משלושת המחקרים במקורו, ולא בתיאור שבמסמך. שני דברים התגלו שם שהמסמך לא אמר, ושניהם מחזקים אותו ולא סותרים: שכל התשובות במחקר האמפתיה נוצרו על ידי מודל, ושהחשד לבדו מספיק. מה שלא נבדק לא הודפס, ורשימת מה שנדחה נמצאת במסמך הרקע.