אחד הקטגורים הנמרצים ביותר נגד ביצוע מחקר על ידי רופאים הוא ג'יימס ווטסון, אשר בסגנונו הבוטה נוהג לבקר את הכשרתם הבלתי מתאימה למשימה ואת העובדה שדווקא מסקנות מחקרים של רופאים מקבלים את התהודה הציבורית החזקה ביותר. למרות שרוב העוסקים במחקר קליני לא מקבלים את הצורה הבלתי נעימה שבה ווטסון נוהג להשמיע את דבריו, הם גם אינם יכולים להתעלם מהאמת המסויימת שעומדת מאחוריהם.
דוגמא מעשית לכך אפשר למצוא בכתבה שכותרתה "מה יעיל יותר נגד כאב ראש: דיקור או תרופה" שהתפרסמה במדור הבריאות של ווי-נט, המשבחת את יכולתו של הדיקור הסיני לטפל במגרנות, ולמעשה קוראת לציבור הרחב הסובל ממגרנות לזנוח את הטיפול התרופתי ולפנות לדיקור סיני בטענה (הבלתי מדעית בעליל) ש"מרבית המחקרים מוכיחים" שהוא יעיל יותר לטיפול בבעיה ממנה הם סובלים.
הכתבה מבוססת על מחקר אותו ביצע רופא צעיר העוסק ברפואה סינית, ופורסם בכתב העת הלא-יוקרתי-במיוחד Anesthesia & Analgesia.
למרות שהכתבה בווי-נט מכריזה שהמחקר "כלל 4000 מטופלים הסובלים ממגרנות וכאבי ראש כרוניים", הרופא אשר ביצע את המחקר לא ראה ולא בדק אפילו מטופל אחד. כל מה שהרופא הזה עשה הוא חיפוש באינטרנט בכדי למצוא מחקרים קודמים בנושא, ואז ביצע "משאל עם" בין המחקרים. מיותר לציין שהשיטה המדעית בה נקט הרופא הזה היא פסולה במקרים בהם אין בעיה של מובהקות סטטיסטית. אם מחקרים שונים מראים תוצאות סותרות, יש לגלות את הסיבות לחוסר ההתאמה בכדי להגיע למסקנה כלשהי. לבטח לא ניתן להכריז על מסקנה רק על ידי ספירה נומינלית של מי חזר יותר פעמים על אותה הטעות.
המאמר מדווח על מעל 100 מחקרים שנמצאו בחיפוש באינטרנט, אך רק מקצתם נכללו בדיווח, והקריטריונים לבחירת המאמרים אינם ברורים לחלוטין. כל מאמר קיבל ציון בהתאם לרלוונטיות שלו למחקר (שנראה מתואם במידה מסויימת עם יוקרתו של כתב העת בו הוא התפרסם).
כשל אחד במסקנות (החלשות ממילא, כפי שצויין לעיל) של המאמר הזה הוא בכך שדווקא המאמרים שקיבלו על ידי הכותבים עצמם את הציון הגבוה ביותר מראים שלא נמצאה ראייה לכך שדיקור סיני מסייע להתמודדות עם כאבי הראש לסוגיהם. כלומר, המסקנות נישענות על כמותם של המאמרים החלשים, ולא על איכותם של המחקרים החזקים יותר. אבל למרות שמדובר בסוגייה משמעותית, המאמר כולל כשלים חמורים הרבה יותר, הנובעים מחוסר הבנתו של הכותב את המחקרים אותם הוא קרא, או בחירת מסקנות בצורה סלקטיבית באופן מעורר השתאות. למשל, במאמר נכתב:
"one trial found that correct rate of guess treatment differed significantly between acupuncture and sham acupuncture groups"
תוך ציטוט של המאמר: Role of the needling per se in acupuncture as prophylaxis for menstrually related migraine: a randomized placebo-controlled study
אך מי שיטרח לפשפש במאמר המצוטט יגלה בחלק המסקנות:
No significant differences were found between the verum group (n = 15) and the placebo group (n = 13) during treatment or follow up three and six months later, either in the attack frequency or in the number of days per month with migraine, headache intensity or drug-use"
וכן בהמשך:
"It is possible that the positive results in earlier clinical trials on acupuncture in migraine are attributable to other mechanisms than needling of subcutaneous tissue"
כלומר, הציטוט לא בהכרח תואם את המסקנות. בהמשך כותב עורך המחקר:
"Combined data demonstrated a statistically significant higher response rate in the acupuncture group compared with sham acupuncture"
תוך שהוא מצטט מאמר מכתב העת היוקרתי Lancet Neurol
אך גם במקרה זה, מי שייכנס לבדוק במאמר המצוטט יגלה תמונה שהיא סותרת לחלוטין:
"Treatment outcomes for migraine do not differ between patients treated with sham acupuncture, verum acupuncture, or standard therapy."
מקרה זה, שבו הציטוט סותר לחלוטין את המאמר המצוטט, לא רק מראה את הבעייתיות המתודולוגית של המאמר, אלא גם ממחיש את רמתו הכללית הנמוכה. אבל זה עוד לא הכל. השיא, לדעתי, נמצא בציטוט הבא:
"Data from trials in tension-type headache showed that acupuncture significantly reduced the headache score at either the early follow-up or late follow-up period."
המפנה למאמר שפורסם בכתב העת BMJ רב המוניטין. אלא שבמאמר המצוטט נכתב:
The acupuncture intervention investigated in this trial was more effective than no treatment but not significantly more effective than minimal acupuncture for the treatment of tension-type headache
כמובן שיש סתירה בין הציטוט לבין המאמר המצוטט, אך הסיבה לשגיאה היא במקרה זה משעשעת באופן מיוחד. מטרת המאמר שהתפרסם ב-BMJ היתה להראות שדיקור סיני "אמיתי" אינו יעיל יותר מדיקור סיני "פלסיבו". כלומר, לא משנה איפה תוקעים את המחט, האפקט על הנבדק הוא בדיוק אותו אפקט. אבל נראה שכותב המאמר נכשל במקרה זה להבין את המסקנות, ופשוט לקח את קבוצת הבדיקה של אותו מחקר כדי להראות הבדל בין מי שטופל בדיקור סיני לבין מי שלא. כמובן שהמסקנה הזו היא חסרת כל ערך, ומצביעה על ליקויים קשים מאוד בעריכת המחקר.
לא הסתפקתי, ואין בכוונתי, לבדוק את כל הציטוטים וכל המחקרים שהמאמר הזה נשען עליהם. מה שברור הוא שמתחת לכל אבן שהופכים במאמר הזה מסתתרת שגיאה גסה, ולמאמר הזה אין שום תוקף מדעי. בהחלט מדובר כאן באחת העבודות הגרועות ביותר שאי פעם נתקלתי בהן. ניתן רק להצטער על כך שהעצלות וחוסר הידע של המדיה הפופולרית מאפשרים לדברים מסוג זה להגיע לקהל הרחב תחת האשליה של הוכחה מדעית או מבחנים קליניים.
בין מיקרונים לשנות אור 