השבועות האחרונים לא האירו פנים לפרופסור דן אריאלי, אחד הישראלים המוכרים ביותר היום בעולם ומי שספריו השונים, ובראשם "לא רציונלי ולא במקרה", תורגמו לשפות רבות. אריאלי, כוכב אקדמי בתחום הכלכלה ההתנהגותית, שמרצה בכל העולם ומייעץ לגופים רבים ובהם גם לממשלת ישראל, עוסק בעיקר בעיצוב התנהגות של הציבור. כעת מתברר שהקריירה שלו עצמו רוויה בבעיות התנהגותיות משלו – כאלו שמציבות סימני שאלה גדולים מאוד בדבר אמינותו.
מה שהתחיל בשבוע שעבר עם חשיפה באתר בשם דאטה קולדה, שבה נטען כי מחקר חשוב של אריאלי וקולגות שלו מ-2012 נשען על נתונים מפוברקים, והמשיך בטענות דומות על מחקר שני מ-2004 בעקבות בדיקה של חוקר ישראלי, מאיים להפוך לצונאמי שיעמיד סימני שאלה גדולים מעל אחד האקדמאים והאינטלקטואלים המוערכים והמתוקשרים בעולם. כעת אנו חושפים כאן סיפור נוסף בקריירה של אריאלי: מדובר במקרה שאירע ב-2007 ואשר גרם, בין היתר, לכך שאריאלי החליט לעזוב בסופו של דבר את מעבדת המדיה של MIT בבוסטון – ועבר לאוניברסיטת דיוק.
בשבוע האחרון פנינו לאריאלי מספר פעמים ושאלנו מדוע עזב את MIT. בהתחלה טען כי "לא היה שום דבר רע. רציתי לעבור למקום שבו אנשים עובדים יחד". כשנשאל שוב לאחר כמה ימים, השיב כי הדבר היה קשור לנסיבות משפחתיות. אלא שהאמת קצת יותר מורכבת משתי הגרסאות האלו.
הוחלף כאחראי הניסוי
בפרק 10 של שובר הקופות הגדול שלו שהביא לפריצתו, "לא רציונלי ולא במקרה", מתאר אריאלי את הכוח של קביעת מחיר על האופן שבו אנו חווים דברים. האופן שבו הוא מוכיח זאת, היא באמצעות שימוש בפלצבו (תרופת דמה נטולת השפעה), ותפקיד המחיר בהשפעת הפלצבו. כלומר, האם תרופה יקרה גורמת לנו להרגיש טוב יותר מתרופה זולה? פרק זה מבוסס על מספר מחקרים של אריאלי מתקופתו באוניברסיטה הנחשבת MIT, שם שימש כחוקר ומרצה עד 2007. אנו חושפים כאן לראשונה כי אחד המחקרים שעליו מבוסס הפרק, ושפורסם במאמר Commercial Features of Placebo and Therapeutic Efficacy , הוביל, בין היתר, להשעייתו הזמנית של אריאלי, ובסופו של דבר, כשנה אחרי – לעזיבתו את האוניברסיטה.
מגורמים ב-MIT עימם שוחחנו מתברר כי האופן שבו נערך ניסוי הפלצבו עורר מחלוקת בקרב האחראיים. לדברי גורמים המכירים את המחקר, אריאלי לא ביקש אישור מראש כמתבקש מוועדת האתיקה (IRB) של MIT הנקראת COUHES, לביצוע המחקר הספציפי ולא מילא את הפרוטוקול הנדרש לניסוי שכלל מתן מכות חשמל לכ-80 משתתפי הניסוי, ומתן תרופה יקרה ותרופה זולה יותר לכאורה (שתיהן תרופות פלצבו).
כאשר הדבר התגלה, בעקבות תלונה של אחת הנסייניות על ההטעיה, חברת ועדת האתיקה פנתה לאריאלי לבירור המקרה. במיילים שהגיעו לידי המקום, נראה כי אריאלי משיב באופן משועשע כי יש לו פרוטוקול כללי לניסויים מסוג זה תחת הכותרת "מכות חשמל", ולפיו הם פעלו.
חברת ועדת האתיקה השיבה לו באופן חריף כי יש בידיה 12 פרוטוקולים לניסויים עם השם שלו כמנהל המחקר, ובאף אחד מהם אין "מכות חשמל בכותרת". היא דרשה מאריאלי לתת לה את מספר הפרוטוקול והכותרת של הניסוי, והזהירה אותו כי כל המקרה נמצא תחת חקירה – והניסוי שלו מושעה עד הודעה חדשה. "שום ניסוי בבני אדם לא יכול להתבצע עם מכות חשמל בזמן שאנחנו מנהלים את החקירה הזו", כתבה לו. היא ביקשה ממנו שישלח לה את הפרוטוקול של אותו ניסוי, ושיעדכן אותה במספר המשתתפים בניסוי עוד באותו יום.
"שום ניסוי בבני אדם לא יכול להתבצע עם מכות חשמל בזמן שאנחנו מנהלים את החקירה הזו", כתבה אחראית ועדת האתיקה לאריאלי
עוד כתבה חברת ועדת האתיקה כי לפי הרישומים באוניברסיטה, לעוזרת המחקר שלו בניסוי אין הכשרה בניסוי בבני אדם – ואם זה המצב, זו הפרה חמורה של הכללים.
בעקבות הפנייה לאריאלי מה-IRB, התעוררה מחלוקת בינו לבין תלמידי המחקר שלו, שטענו כי נאמר להם על ידו שהאישור הרלוונטי קיים – כשמנגד טען אריאלי, שהיה לו פרוטוקול אחד כללי לניסוי עם מכות חשמל, והוא חשב שזה מספיק. לפי מקורב לצוות הניסוי באותה תקופה, התחושה היתה שאריאלי מנסה לגלגל את האשמה בדבר ביצוע המחקר ללא אישור מפורש, על תלמידי המחקר שלו.
בסופו של דבר, אריאלי וצוותו קיבלו אישור מאוחר לניסוי מה-IRB ונערכו בו כמה שינויים כדי שיאושר. בין היתר, הוחלף אריאלי כ-Primary Investigator (חוקר ראשי) של הניסוי על ידי קולגה שלו ממעבדת המדיה, פרופ' אנדרו ליפמן. במאמר הסופי מופיע ליפמן באותיות הקטנות כמי שסיפק "עזרה לוגיסטית למחקר".
בעקבות חקירת האירוע, הטיל ה-IRB איסור על אריאלי לבצע מחקר למשך כשנה. בתכתובת המיילים שהגיעה לידינו, מביע אריאלי בפני ראש ועדת האתיקה לי פרן, מורת רוח וכי הקולגות שלו נדהמו מ"העונש הקשה שניתן לו" בהשעייתו ממחקר. לאחר אותו איסור שהושת עליו, עזב אריאלי את MIT לאוניברסיטת דיוק, שם הוא מלמד וחוקר עד היום.
כששאלנו את אחד המעורבים בניסוי, מדוע אריאלי לא ביקש אישור כנדרש, הם הסבירו כי "אריאלי אוהב לעגל פינות, והוא לא חושב שהוא צריך ללכת לפי הכללים כמו כולם. הוא לא חשב שהוא ייתפס". לדברי החוקר עמו שוחחנו, אם אריאלי היה מבקש אישור לאותו ניסוי הוא כנראה היה מסורב, מאחר ש"אתה לא יכול לשקר לאנשים ואז לחשמל אותם".
לדברי החוקר עמו שוחחנו, אם אריאלי היה מבקש אישור לאותו ניסוי הוא כנראה היה מסורב, מאחר ש"אתה לא יכול לשקר לאנשים ואז לחשמל אותם".
אריאלי מודה בסיום הפרק בספר ש"הדילמות המוסריות הכרוכות בניסויים רפואיים ובניסויי פלצבו הן דילמות אמיתיות, היתרונות הפוטנציאלים של ניסויים כאלה צריכים להישקל כנגד המחיר, והמסקנה היא שאי אפשר ולא רצוי לערוך ניסויי פלצבו בכל מצב. אבל תחושת הבטן שלי היא שאנחנו עורכים ניסויי פלצבו הרבה פחות מהרצוי".
בתגובה לדברים מסר אריאלי: "המחקר שביצעתי בשנת 2005 קיבל אישור כנדרש. אכן היו חילוקי דעות בנוגע להיבטים טכניים בפרוטוקול המחקר, בעקבותיהם הושהה המחקר, אך נשארתי חבר סגל מלא ב-MIT. עזבתי את MIT מרצוני כשלוש שנים לאחר המחקר המדובר, מתוך שיקול מקצועי ומשפחתי, כשאוניברסיטת דיוק הציעה משרות אקדמאיות לאשתי ולי".
פנינו לאוניברסיטת MIT כמה פעמים בשבוע האחרון לקבלת תגובה, אך זו טרם התקבלה.
"הנתונים פוברקו – וממש מהמקפצה"
מי שכתב את הספר "האמת הכנה על חוסר כנות: איך אנחו משקרים לכולם – בעיקר לעצמנו" עבר כאמור שבועות קשים מאוד לאחרונה, שבהם אמינותו הוטלה בספק גדול. בזו אחר זו התפרסמו ידיעות שגרסו כי שני מחקרים שלו מבוססים על נתונים בעייתיים ומזויפים.
מאמר שפורסם בשבוע שעבר באתר DataColada עסק במחקר ידוע בכלכלה התנהגותית של אריאלי, ליסה שו, נינה מזר, פרנצ'סקה ג'ינו ומקס בייזרמן מ-2012. לפי המחקר, העלאת דרישת חתימה לראש העמוד של מסמך (בטרם מילויו) במקום בתחתית העמוד (לאחר מילויו) – מקטינה את הסיכוי לדיווחי שקר מצד ממלאי המסמך. המאמר כלל שלושה ניסויים אמפיריים, והוא פורסם בכתב העת הרשמי של האקדמיה למדעים של ארה"ב, PNAS. אריאלי היה היחיד מבין החוקרים שהיה בקשר עם חברת הביטוח ושסיפקה את הנתונים לניסוי, וזה שקיבל ממנה בפועל את הנתונים.
החשד לזיוף התעורר לראשונה ב-2020, כאשר חלק מהחוקרים ניסו לשחזר את תוצאות המאמר מ-2012, אך נכשלו – מה שהוביל אותם לשים לב לבעיות בנתוני המחקר המקורי. במאמר ב-DataColada נטען כי לא מדובר בטעות תמימה אלא בתרמית של ממש. הכותבים מציינים כי יש שלוש אפשרויות בלבד: או שהזיוף בוצע על ידי אריאלי עצמו, או על ידי מישהו במעבדתו, או על ידי חברת הביטוח. "אין שום דרך מנומסת לומר זאת, הנתונים פוברקו וממש מהמקפצה", הגדיר זאת ד"ר חגי אלקיים-שלם, שכתב על כך בעמוד הפייסבוק שלו.
בכתבה שעלתה בבאזפיד בסוף השבוע האחרון, נחשף כי החברה שממנה קיבל אריאלי את הנתונים היא חברת הרטפורד, וכי היא סירבה להגיב לאירועים האחרונים למרות מספר פניות. כך שקשה לדעת אם הנתונים השגויים מקורם בחברה כפי שאריאלי רמז.
המקום הכי חם פנה לאקדמיה האמריקאית למדעים (PNAS) בשאלה מה בכוונתם לעשות בנוגע לממצאים האחרונים בנוגע למחקר מ-2012 שפורסם אצלם, והם השיבו כי "הם מודעים לממצאים וכי הם בקשר עם החוקרים וכותבי המאמרים". לא מן הנמנע כעת כי מחקרים נוספים של אריאלי ייבדקו בזמן הקרוב.
בעקבות החשיפה, הקולגות של אריאלי למחקר זעמו עליו. שניים מהם, ליסה שו ומקס בייזרמן, שערכו את המחקר הראשוני שהתמזג לאחר מכן עם המחקר של אריאלי, התבטאו באופן תקיף. שו צייצה ארוכות מדוע היא שמחה על הגילוי שמדובר בנתוני כזב, והסבירה את האופן שבו בייזרמן ועמיתיו לא הצליחו לשחזר את הניסוי מ-2012 של אריאלי שוב ושוב, באופן שגרם להם לדחות את המחקר.
הקולגות של אריאלי למחקר זעמו עליו. שניים מהם, ליסה שו ומקס בייזרמן, שערכו את המחקר הראשוני שהתמזג לאחר מכן עם המחקר של אריאלי, התבטאו באופן תקיף
פרופ' בייזרמן, שותף נוסף לניסוי, הוציא הודעה ארוכה שבה כתב בין היתר כי ב-2020, בעקבות בדיקה של PNAS, הוא שלח איימילים לחוקרים שבהם טען בתוקף שצריך למשוך את המחקר, בעקבות היעדר הרנדומליזציה והשקיפות במחקר. "שו ואני היינו היחידים מחמשת החוקרים המקוריים שהיו בעד משיכת המחקר מ-2012, ובהיעדר רוב למשיכתו הדבר לא נעשה. עכשיו אני מאמין שהיה עלי לעשות זאת עצמאית, גם ללא הסכמת רוב החוקרים….לסיכום, אני מצטער שלא עבדתי קשה יותר כדי לזהות שהדאטה היתה מזויפת, ולהבטיח מחקר אמין ובעל קונטקסט, ושלא התעקשתי למשוך את המחקר בזמן. למרות שהיו לי חששות וספקות, האמנתי לתשובות שקיבלתי".
"הקולגות שלי כועסים עלי כי אני הייתי בקשר עם חברת הביטוח וזה באמת כאב לב גדול", אמר אריאלי בתגובה לפרסום של טלי חירותי סובר בדה מרקר, "זה אירוע מאוד עצוב. לא טוב לי, לא טוב לקולגות שלי, לא טוב למדע. יש הרבה לקחים שניתן ללמוד, ואכן למדתי את הלקח באופן מאוד כואב. דיברתי עם לא מעט חוקרים שמקבלים נתונים מחברות חיצוניות, ומאמינים שלאיש אין אינטרס לרמות אותם. הלקח הוא שחייבים להיות מעורבים באיסוף הנתונים".
13 אי התאמות בסטטיסטיקה
שבועיים לפני אותה חשיפה פירסם האתר Retractionwatch.com מאמר נוסף על מחקר אחר של אריאלי מ-2004, העוסק בקשר בין עבודה לשכר, ונכתב עם הדוקטורנט ג'יימס היימן מברקלי. מחקר זה צוטט ביותר מ-400 מאמרים אחרים.
במאמר דווח על ניסיון של הפסיכולוג גלעד פלדמן מאוניברסיטת הונג קונג לשחזר את המחקר המקורי יחד עם קבוצה של סטודנטים. כשבדקו את הסטטיסטיקה שעליה התבסס המחקר המקורי, הם מצאו בה 13 אי-התאמות: חמש במחקר הראשון, ארבע במחקר השני ועוד ארבע במחקר השלישי. עוד נכתב כי בעוד חלק מהאי-התאמות אינן משנות את השורה התחתונה של המחקר, הרי ש"חלקן עלולות לשנות באופן מהותי את מסקנות המחקר".
בתגובה לפרסום הטענות נגדו לגבי מחקר זה, אריאלי טען כי הוא נרגש מן הניסיון לשחזר את המחקר הוותיק, והדגיש כי גם הוא שם לב לאנליזות סטטיסטיות מוזרות שנוצרו, לדבריו, על ידי תוכנה שאינה קיימת יותר. "טוב למדע לשים סימן שאלה על הנושא הזה", אמר אריאלי. "הטעות הגדולה ביותר שלי היא שאני לא מקפיד על האפשרות למעקב אחרי הדברים שאני עושה".
מחקר אוננות וניסוי פטמות בולטות
אלה לא היו ההסתבכויות הראשונות של אריאלי. ב-2010 הוא התראיין לרשת הרדיו הנחשבת NPR, ראיון שזכה לתגובות נזעמות מצד איגוד רופאי השיניים האמריקאי. אריאלי דיבר בתוכנית All things considered עם המראיין רוברט סיגל, על איך אנשים, באופן בלתי רציונלי, נאמנים בצורה בלתי רגילה לרופאי השיניים שלהם – יותר מאשר לרופאים במקצועות אחרים.
אריאלי טען בראיון שאם שני רופאי שיניים נדרשים לזהות חורים מאותו צילום רנטגן של אותה שן, הם יסכימו רק ב-50 אחוז מהמקרים. הוא ציין את חברת הביטוח לרפואת שיניים דלתא כמקור לאותן מסקנות. עם זאת, מיד לאחר הראיון, הדובר של חברת הביטוח מסר בתגובה כי אין שום מידע או נתונים שיכולים להוביל למסקנה הזאת.
לטענת אריאלי, הוא ביסס את הקביעה שלו על סמך שיחה שערך עם מישהו בדלתא. "הוא לא יכול לציין את דלתא כמקור למידע הזה ולקביעה הזו, כי אנחנו לא אוספים שום מידע כזה שיכול להוביל למסקנה הזו", קבע אז דובר החברה בתגובה.
"הוא לא יכול לציין את דלתא כמקור למידע הזה ולקביעה הזו, כי אנחנו לא אוספים שום מידע כזה שיכול להוביל למסקנה הזו", אמר דובר חברת ביטוח השיניים בתגובה לראיון של אריאלי
גם ארגון רופאי השיניים האמריקאי זעם על אותה קביעה של אריאלי, בדומה לרופאי שיניים רבים שהאזינו לתכנית. במקרה הזה אריאלי לא ראה או ניתח שום מידע שגרם לו להסיק את אותה מסקנה. "זה היה שיעור טוב ויקר", אמר אריאלי אז בתגובה לסערה שקמה.
אמש צפו ברשת ספקות חדשים לגבי דיוק סטטיסטי במחקר אחר של אריאלי מ-2005 שעסק בקבלת החלטות בזמן אוננות. מקורות ששוחחו עם המקום, שהיו תלמידים ב-MIT באותה עת, סיפרו כי אריאלי נהג לדבר רבות על המחקר, גם ללא סיבה מיוחדת. המחקר בוצע במעבדת המדיה המפורסמת ב-MIT, שלפני מספר שנים נחשף כי ג'פרי אפשטיין היה מתורמיה הגדולים. משיחות עם תלמידיו של אריאלי, עולה כי מחקר נוסף שרצה לבצע, תחת השם Sex and the city project כלל לבישת פטמות מזויפות ובדיקה כיצד הן משפיעות על מתן טיפים במסעדות. הניסוי לא יצא לבסוף לפועל.
"משחק עם הנתונים כדי שיתאימו לסיפור"
משיחות עם מומחים בתחום הכלכלה ההתנהגותית, ובהמשך לפרסומים בחו"ל, נראה כי החשיפות האחרונות עלולות לפגוע באמינות התחום כולו. אחדים מהם, המכירים את עבודתו של אריאלי מקרוב, טוענים כי לא הופתעו מהפרסומים האחרונים. אותם גורמים מסבירים כי מה שאריאלי עושה נקרא בעגה המקצועית "P-HACKING", כלומר הסתכלות על הנתונים מזווית מסוימת כדי להגיע לתוצאה הרצויה. גישה זו כאמור אינה עומדת במבחן הזמן כאשר מבצעים בדיקה נוספת על נתוני המחקר (REPLICATING) – בדיוק מה שעורר את החשדות האחרונים.
"הרבה אנשים בתחום הזה מואשמים ב-P-HACKING", אומר חוקר בכיר שעבד עם אריאלי בעבר ומכיר את עבודתו מקרוב, "זה לא שאריאלי ממציא דאטה, הוא פשוט מסתכל על הדאטה בצורה שהוא רוצה שהיא תהיה, כדי לספר את הסיפור שהוא רוצה. זה לא שהוא משקר, הוא פשוט מסתכל על הנתונים באופן שיביא את המסקנה שהוא רוצה.
"הרבה אנשים בתחום הזה מואשמים ב-P-HACKING. זה לא שאריאלי ממציא דאטה, הוא פשוט מסתכל על הדאטה בצורה שהוא רוצה שהיא תהיה, כדי לספר את הסיפור שהוא רוצה"
"בוא נגיד שדן הוא איש של רעיונות גדולים, והוא בא עם היפותזה לגבי משהו ורוצה להוכיח אותה, גם אם הנתונים לא מסתדרים. הוא סטורי טלר (מספר סיפורים; ת"מ) מעולה, והוא מעוות ומשחק עם המחקרים שלו ככה שיתאימו לאותם סיפורים גדולים".
אבל זה לא נשמע כמו מדע.
"נכון. ותמיד היתה סקפטיות לגבי כלכלה התנהגותית, ובכלל מחקרים בפסיכולוגיה הם בעייתיים מהבחינה הזאת. הייתי אומר שיותר חשובה לו ההיפותזה שלו, ושהנתונים והמחקר יתמכו בהיפותזה הזאת, לא משנה מה הנתונים אומרים. זה האופן שבו הוא פועל".
הופתעת מהגילויים האחרונים?
"לא, ממש לא. לדן יש רעיונות מגניבים ויצירתיים, מבחינתו הם אמת, עוד לפני שהדאטה אומרת שזה נכון. מבחינתו, במוח שלו, הוא חושב שזה נכון, והוא גורם לדאטה לגבות אותו. כלומר מבחינתו הרעיונות שלו הם האמת הגבוהה יותר".
אתה חושב שזה קשור לעובדה שהוא נעשה פרופסור כוכב?
"לא, הוא היה כזה לפני. מה שחשוב לדן זה הסיפור, והוא מאוד טוב בזה. בעיני הוא לא מדען, אלא סטורי טלר ממש טוב, אבל זה מראה לנו שאנשים לא רוצים מדע, אלא רוצים סיפורים טובים. והוא ממש טוב בלספר סיפור. הוא מספר סיפורים מגניבים ואינטואיטיביים, כמו פריקונומיקס. אבל הבעיה היא שמדע אמיתי הוא לא סיפור טוב, הוא מבולגן, ויש הרבה סתירות, יש הרבה ניואנסים, הוא משתנה. אבל הסיפורים של דן תמיד פשוטים, קל לעבוד איתם, וזה מאוד מושך לקהל הרחב שרוצה פאנצ'ים. דן נותן לאנשים מה שהם רוצים. הוא סטורי טלר ממש טוב והוא מתחמק מהבעיות שצצות".
בעקבות אותן טענות מסר אריאלי למקום הכי חם: "הטענות מגורמים אנונימיים כנגד יושרתי המקצועית הן כמובן שטות מוחלטת שניתן להפריך בקלות בגרף הבא, המסכם את תוצאות המחקרים שלי ב-20 השנים האחרונות. עצוב לי שיש אנשי אקדמיה שבמקום לנהל דיון מקצועי וענייני, מתחבאים ומטיחים עובדות אלטרנטיביות בשיחות עם עיתונאים".
הסבר: "הקו השחור המקווקו מייצג את ההתפלגות המצופה מתוצאות של מחקרים רבים לאורך זמן. חלקם נופלים מעל לרמת המובהקות וחלקם מתחתיה. הקו הכחול מייצג את תוצאות כל הניסויים שלי בין השנים 2000-2020, 600 מבחנים סטטיסטיים בסך הכול. ניתן לראות כי תוצאות מחקריי בפועל תואמות ברמה גבוהה לצפי הסטטיסטי. אם המחקרים היו מוטים הקו הכחול היה ממוקם יותר ימינה. לפרטים נוספים על המודל והשוואה לחוקרים נוספים, אפשר למצוא כאן".