איך (לא) לכתוב מאמר מדעי

כתיבת מאמר מדעי היא ברוב המקרים משימה מרגיזה ובלתי מהנה שבה מדען או קבוצת מדענים צריכה לסכם ממצאים ועבודה של כמה חודשים, ולפעמים אפילו כמה שנים, במסמך של בערך 10 עמודים. אופיה הבלתי מרגש של המשימה, ולעיתים קרובות גם היעדר יכולת ניסוח מינימלית, בדרך כלל מביאים למצב שבו המדענים שעבדו על המחקר מעדיפים להתעלם מהנושא ולחכות שמישהו יואיל וייקח על עצמו את המשימה, רק כדי ששבועיים לאחר מכן יוכל צוות המחקר להתכנס לישיבה מיוחדת שבה יוכלו כולם יחד לנזוף בכותב על כך שהמאמר לא משקף את המחקר שנעשה. מכאן נכנסים למצב של עיכוב של עוד כמה חודשים עד להכנת נוסח חדש, שוב מכנסים דיון, ומכאן יכולות לעבור גם שנים עד שהמאמר מוגש לפרסום, אם בכלל. אבל מכיוון שמאמרים הם מטבע המסחר האקדמי, אף מדען לא יכול להרשות להפסיק לפרסם, ולכן בכל זאת מומלץ להתמודד עם הבעיה ולבצע את הפעולה הבלתי מהנה של כתיבת מאמר.

על מנת לעמוד בקריטריונים של פרסום (כלומר, לעבור את העורכים ואת השיפוט המדעי) המאמר צריך לעמוד בשלושה קריטריונים עיקריים: הוא צריך להיות נכון ומדוייק מבחינה מדעית, הוא צריך להוות חידוש על הידע שכבר קיים, והממצאים שבו צריכים להיות מעניינים וחשובים עבור האנשים שעוסקים בתחום. אחד הכללים הבלתי רישמיים הוא שצריך שיהיה ניתן לקרוא את המאמר ולהבין מה כתוב בו, אך מכלל זה נהוג בדרך כלל להתעלם.

מכיוון שהמשימה כל כך חשובה, הדרך הטובה ביותר ללמוד אותה היא לבדוק מה עשו מדענים אחרים שכן הצליחו להעביר את המאמרים שלהם בשלום. דוגמא אחת שאפשר ללמוד ממנה היא מאמר שפורסם בכתב העת Science, אחת משתי ספינות הדגל של כתבי העת האקדמיים. המשמעות של פרסום מאמר בכתב עת זה היא ברורה לכל איש אקדמיה, וכל מדען, מוערך ומפורסם ככל שיהיה, תמיד ישאף לפרסם בו. מכיוון שהמאמר פורסם בכתב עת יוקרתי כל כך, ניתן להשתמש בו ככלי עזר הדרכתי לכתיבת מאמרים.

כותרת המאמר היא: 100%Accuracy in Automatic Face Recognition המכריזה נצחון על אחת הבעיות היותר חשובות בתחום הראיה הממוחשבת בפרט ומדעי המחשב בכלל, והיא זיהוי פנים אוטומטי. הכותרת מרעידת אמות הסיפים אכן הוכיחה את עצמה כיעילה מאוד בכדי לעבור את צוות העורכים הבררני של Science, אולם יצר בלתי נשלט לקריאה של תוכן המאמר מגלה ש "100 אחוז" הושגו רק בניסוי אחד, ותוך שימוש בבסיס נתונים קטן באופן דרמטי של 25 אנשים (בזמן שמחקרים מקבילים משתמשים בבסיס נתונים של מעל 1000).  העובדה שבמחקר נכללו 25 אנשים היא למעשה מניחה את הדעת, שכן באותה מידה יכלו החוקרים לבצע את הניסוי עם אדם אחד, ולדווח על 100 אחוזי דיוק אם הזיהוי היה במקרה יוצא נכון. בחירת הכותרת מדגימה כלל ידוע בכתיבת מאמרים מדעיים, והוא שהכותרת חייבת להיות "מפוצצת", גם אם המסר המשתמע ממנה אינו עולה בקנה אחד עם תוכן המאמר.

עוד משתמע מהכותרת שזיהוי הפנים נעשה בצורה אוטומטית, אבל ניסיון להבין את השיטה לעומק מלמד שבתהליך מעורב שלב ידני ועתיר עבודה של התאמת התמונות, אשר אינו יכול להתבצע בצורה אוטומטית בטכנולוגיה הקיימת כיום. חלקו של השלב הידני בתהליך אינו מתואר במאמר, אלא ניתן להגיע אליו רק כאשר קוראים (בזהירות רבה) את החומר הנוסף (supplementary material) אשר לא נמצא בז'ורנל עצמו אלא רק באתר האינטרנט של כתב העת. המסקנה, אם כך, היא תמיד לשים את המידע שמחליש את המאמר כחומר נוסף. צעד זה יבטיח להוריד למינימום את הסיכון שמישהו אי פעם יקרא את אותם חלקים של המחקר שהחוקר פחות גאה בהם.

המשך קריאה של המאמר מביא לניסוי נוסף שהתבצע בעזרת בסיס נתונים שונה מעט, שהוביל לתוצאות צנועות הרבה יותר של 80 אחוזי דיוק (20 מתוך 25). העובדה שתוצאות אלה אינן משתקפות בכותרת מרעישת העולמות (המכריזה על "100 אחוז") היא דוגמא ליישום יעיל של החוק השלישי בכתיבת מאמר מדעי: תמיד תדווח על התוצאות שתומכות בהנחת המחקר, ותשתמש רק בנתונים שמספקים את התוצאות הטובות ביותר. יישום נכון של כלל זה תמיד ייאפשר לחוקרים לפרסם את התוצאות הרצויות, וכך יבטיחו את הצלחת המחקר.

כלל נוסף וחשוב בכתיבת מאמר מדעי הוא תמיד לוודא שלא ניתן לבצע רפליקציה של הניסוי. בהתאם לכלל זה, כותבי המאמר השתמשו בתמונות שהם אספו בעצמם מהאינטרנט (במקום באחד מבסיסי הנתונים הקיימים), וכן בתוכנת זיהוי פנים מסחרית שאינה קוד פתוח, וציבור המדענים אינו יכול לדעת כיצד היא פועלת. אולם מכיוון שקיים חשש סביר שמישהו יקנה את התוכנה וינסה לחזור על הניסוי, בחרו החוקרים לבצע את הניסוי שלהם באמצעות שירות אינטרנט של חברה מסחרית (My Heritage). אותה חברה אמנם טוענת שהיא משתמשת באותה תוכנת זיהוי, אך מדובר כמובן בסוד מסחרי בבעלות חברה פרטית, שאינה מחוייבת לכללי השקיפות המאפיינים את העולם המדעי. מיכוון שמדובר בממשק אינטרנטי, כמובן שלא ניתן לדעת בוודאות מה באמת קורה בצידו האחר של השרת.

באותו עניין, הניסוי המתואר ב-Science עונה גם על דרישה נוספת של כתיבת מאמר מדעי, והיא לעולם אל תחלוק את הנתונים שלך עם מדענים אחרים. בכדי לעמוד בדרישה זו, נמנעים החוקרים מלהשתמש באחד מבסיסי הנתונים הסטנדרטיים, אלא משתמשים בבסיס נתונים של חברה פרטית שאיש (פרט לעובדי אותה חברה) לא יודע מה טיבו ומה למעשה הוא כולל. החוקרים אף מגדילים וטוענים ש"אין להם שליטה על בסיס הנתונים". מכיוון ש-My Heritage מעדכנת את בסיס הנתונים שלה באופן תדיר, הניסוי שנערך על ידי החוקרים כבר לא יוכל להתבצע לעולם, אפילו לא על ידי החוקרים עצמם, שכן גם להם אין שליטה על הנתונים של My Heritage. בכך משתמשים החוקרים בצורה מבריקה בהגיגו של הרקליטוס לפיו "לא ניתן לחצות את אותו נהר פעמיים".

מלבד הכותרת, תמיד יש לעשות ניסיון לשבץ במאמר מספר גדול ככל הניתן של הכרזות מרעישות עולם. במאמר הנידון גם כלל זה מיושם בצורה יעילה, וניתן למצוא בו שלל הכרזות רבות משמעות. למשל, החוקרים קובעים שהשיטה שלהם משתווה לרמת זיהוי הפנים של הקוגניציה האנושית. למרבה הצער, המדענים בדקו את השיטה שלהם בעזרת 25 אנשים בלבד, ושכחו שהאדם הממוצע מסוגל לזהות אלפי אנשים ללא טעות.

בכדי להבין היטב את המנגנונים המתוארים בניסוי תמיד רצוי לשנות שני פרמטרים באותו ניסוי, על מנת שהקורא לא יוכל לדעת איזה מהפרמטרים השפיע על השינוי בתוצאות. עיקרון זה מיושם בצורה נאה במאמר בכך שהחוקרים משתמשים  בתמונות "ממוצעות" (ממוצע לכל פיקסל מבין אוסף התמונות של אותו אדם) במקום בתמונות רגילות, אבל בנוסף גם מפרידים את הרקע מהתמונה. על ידי ביצוע שני השינויים באותו ניסוי מבטיחים הכותבים שהקורא לא יוכל לדעת אם הזיהוי המדוייק הוא תוצאה של התמונות הממוצעות, או שאולי מדובר בהסרת מפגעי הרקע של התמונות.

 לבסוף, מדע איכותי תמיד צריך שיהיה לו יישום מעשי. כפי שמציעים הכותבים בתבונה, היישום המעשי המתבקש לתגלית המרעישה הוא כמובן אימות של כרטיסי זיהוי (עם תמונה). אולם מטרת כרטיס הזיהוי היא לאפשר לאדם להוכיח שהוא אכן בעליו החוקיים של הכרטיס תוך שכנוע הסובבים אותו שהתמונה המופיעה בו היא אכן תמונתו שלו. מכיוון שמרבית האנשים לא מסוגלים להבדיל בין התמונה "הממוצעת" של ביל קלינטון שמוצגת במאמר לבין הדודה של עצמם, קיים ספק עם תעודות הזיהוי המצויידות בתמונות החדשות אכן יעמדו במשימה. כלומר, גם אם כרטיס הזיהוי יזוהה על ידי מערכת אוטומטית כלשהי, לא תהיה שום דרך לוודא שהאדם המחזיק בו הוא אכן האיש המופיע בתמונה, מה שפותח פתח רחב לזיופים, הונאות ומעשי התחזות. בנוסף לכך, הכותבים מציינים ששימוש בתגלית החדשה שלהם ידרוש החלפה של כל מסמכי הזיהוי הקיימים במסמכים עליהם תופיע תמונה "ממוצעת" במקום תמונה רגילה. את התהליך של החלפת מאות מיליוני מסמכים במסמכים בעלי תמונות ממוצעות מסכמים החוקרים בשתי מילים-  "Technically Straightforward".

 

 

[*** זו הגירסה של המכתב באנגלית. נוסח מקוצר ומתון הרבה יותר פורסם ב-Science. ***]

 

How (not) to Write a Scientific Paper

Lior Shamir

In the paper "100% accuracy in automatic face recognition” published in the journal “Science” (Vol. 319, p. 435, 2008), two researchers from the University of Glasgow propose a new computer vision method of automatic face recognition that can “elevate machine performance to the standard of familiar face recognition in humans”. The authors propose to simply average several face images of each person, and advertise that the resulting averaged image can be recognized with no error. Since this work was published in arguably the flagship scientific journal, it can effectively be used as an educational resource that demonstrates how scientific research should be conducted and reported.

First, it is common truth that the first rule of scientific writing is to always give an earth-shattering title to your manuscript. The title "100% accuracy in automatic face recognition", which declares victory on one of the most burning problems in machine vision, is definitely appealing enough to get the paper through the editorial board of "Science". This by itself is an indication of the efficacy of the title. However, an unexplained passion of reading the fine print reveals that 100% accuracy was achieved by using just 25 face images (while standard face recognition datasets include more than 1000 subjects). This finding is indeed a relief, as one could suspect that technically valid 100% accuracy could have been reported by testing just one face image, if that image happened to be recognized correctly.

The title also uses the term "automatic face recognition". However, an attempt to obtain deep understanding of the proposed method leads to the unfortunate understanding that the "automatic" recognition is actually based on a highly labor-intensive step of image registration, using a method that cannot be automated with the currently available technology. The presence of this step is not mentioned in the manuscript, and the reader is exposed to it only if she cares to read the supplementary material. The conclusion is, therefore: describe all pieces of information that weaken the paper only in the on-line supplementary material. This measure will surely minimize the chances of anyone seeing those part of your research that you are less proud of.

Further reading of the manuscript leads to another experiment, in which a subset of the original data was used. These data are perfectly valid in terms of the input of the proposed method, but achieve only 80% accuracy (20 images out of 25 were recognized correctly). These results, however, are not reflected in the title, which trumpets "100% accuracy". This demonstrates a good practice of rule number three of scientific writing – report only on the results that best support your hypothesis, and use only the data that give you the desired performance. This is a highly important practice in conducting scientific research, as proper implementation of this rule allows researchers to customize their reported results to a desirable level.

Another basic rule that must be kept in mind when reporting on a scientific experiment is always make sure that the experiment is unreplicable. Following the proper procedure of conducting scientific research, the authors use a commercial face recognition software, which operates in a fashion that is uncertain to the public. Being aware of the risk that someone might purchase the same version of the commercial software and repeat the experiment, the authors do not use the software themselves. Instead, they use an on-line service provided by another commercial company that claims it uses the software developed by the former company. By doing this, the authors not only dismiss themselves from any responsibility of knowing how the face images are actually being recognized, but also brilliantly make the experiment unrepeatable, as the commercial company providing the on-line service ("My Heritage”, Ltd.) modifies its data and software regularly. Potential hazardous transparency of the way the face recognition is performed is protected by the fact that commercial companies often become unfriendly to strangers demanding to review their intellectual properties and commercial secrets.

In the same matter, the experiment described in "Science" also follows the complementary rule of never share your data. In order to meet this requirement, the authors avoid reporting their experimental results using one of the numerous publicly available face datasets. Instead, they use a celebrity image dataset owned by a commercial company, which consists of thousands of images that cannot be downloaded in one piece. The authors claim in the paper that they "have no control" of these data. Since the dataset is highly dynamic, by the time someone tries to repeat the experiment it can be reasonably assumed that the data will be different from what they were when the reported experiment was performed. This is a remarkable practical use of Confucius's theory according which "we can never step into the same river twice”.

Except from an epochal title, a proper scientific report should also include several earth shaking statements in the body of the manuscript. The authors definitely follow this rule by stating that their face recognition method can "elevate machine performance to the standard of familiar face recognition in humans". Regretfully, the authors tested their systems using 25 subjects, and did not take into account that the average human can recognize with no error many times more faces. They also fashionably ignore the second reported experiment, which shows 80% accuracy in face recognition.

In order to achieve deep understanding of the mechanism being studied, it is advised to always change two parameters in a single experiment, so that it will be uncertain which parameter actually affected the results. This principle is nicely implemented by averaging the face images, but also segmenting the faces form the image background. Applying these two image processing elements in the same experiment verifies that the reader is not able to determine whether the recognition accuracy changed due to the image averaging, or perhaps resulted from the controlled segmentation of the faces and their separation from the noisy background.

Finally, good science must always have a practical application. The natural application of this research is to use it for verifying photo identification cards, as the authors wisely propose in the paper. However, an important purpose of the photo in the ID is to allow its owner to easily convince that the person in the photo is actually them. Since most people would probably find it difficult to distinguish between the averaged Bill Clinton’s photo presented in the paper and their own auntie, the averaged image will doubtfully satisfy this requirement. The authors also note that practical implementation of their method requires changing the photos in all photo IDs, and replacing them with averaged face photos. The project of changing the photos in hundreds of millions of documents and replacing them with “averaged” images is summarized by the authors in two words – “technically straightforward”. Even Douglas Adams could not have written it better.

מודעות פרסומת
Post a comment or leave a trackback: Trackback URL.

תגובות

  • נ.א.  On ינואר 15, 2009 at 12:03 am

    יותר מכל דבר על מה שאני טוען כבר זמן מה. שיטת ה-peer review פשטה את הרגל
    אני קורא מאמרים בתחום שלי, שאני מבין בו, וחלק גדול מהם (ובמיוחד אלו המפורסמים בnature או ב-science) פשוט מבישים. נכון, כותרת מפוצצת, ואבסטרקט מבטיח, אבל מדע גרוע במקרה הטוב, ועיוות מכוון במקרה הרע. מאוד קשה להסיק על מאמרים שלא בתחום ההתמחות שלי, אבל קשה להניח שהמצב שונה באופן מהותי.
    פרסום בעיתונים האלו הפך להיות מטבע, סוג של כסף, ולא הישג מדעי.
    עצוב מאוד.

  • reut  On ינואר 15, 2009 at 12:35 am

    עם כל היתר אין לי ויכוח

  • יעל  On ינואר 15, 2009 at 12:45 am

    בטיעון דומה לזה שאתה מעלה:
    מאמר אחד ב
    science
    אינו מעיד על הכלל.
    אין ספק שבמאמרים שנפרסם נשאף להציג – על פי רוב – תוצאות שתומכות בהנחה, כי אלה בד"כ תוצאות מעניינות ומקדמות יותר (אם ההנחה שלנו מוטעית, ואם אינה בגדר 'המובן מאיליו' שאותו אנו סותרים, לא יהיה עניין בניסוי כושל)
    שיפוט מוצלח של עבודות אמור לסנן עבודות שמטעות את הקורא (או לבקר כותרת, ניסוי וכולי), וגם בכנס מדעי שמתקיים בו שיפוט קפדני משתרבבים לעיתים מאמרים שאינם 'עומדים בתקן' של השומע או שלך, באופן אישי.

    (ועוד כמה טעויות כתיב – עיכוב ולא עיקוב, אל ולא " לעולם על תחלוק וגו')

  • יוסי  On ינואר 15, 2009 at 1:05 am

    האמת היא שיש להניח שלא תהיה השפעה של ממש למאמר הזה, אם מדענים אחרים לא יוכלו לשחזר אותו ולהוסיף עליו. יש להניח שהוא יתרום לכותבים, בעיקר אם הם צעירים שמחפשים עבודה או קביעות. אבל, הנקודה שלי הוא שהנזק לא משמעותי.

    שיטת כתבי-העת הקיימת, בעיקר בפסיכולוגיה, רחוקה מלהיות אופטימלית לשירות המדע. יש להניח שברבות השנים ישתפר המצב (כבר כיום הוא הרבה יותר טוב משהיה לפני עשרות שנים), ואז אנשים לא יבזבזו את זמנם על החדרת מאמרים פגומים לכתב-עת נחשב.

  • גיל  On ינואר 15, 2009 at 3:44 am

    וגם העורך האחראי. כמו שאמרו אחרים, זה רק מראה שיש במערכת גליצ'ים אבל לטווח הארוך השיטה עובדת. אם המאמר לא חשוב או לא יכול להיות משוחזר אז הוא ישכח. אגב, מאמרים אחרים של אותם כותבים יותר ברורים?

  • ליאור  On ינואר 15, 2009 at 5:11 am

    נ.א., באופן אישי אני לא בטוח שיש כאן "פשיטת רגל" של השיטה, אבל ברור שיש בה כמה סדקים. אני מסכים איתך במקרה של נייצ'ר וסיינס, שכבר הפכו להיות יותר מגזינים מאשר כתבי עת, עם כותרות בסגנון "העולם הזה" ותוכן שהוא בהרבה מקרים דל ומאכזב. אני לא יודע מה התחום שבו אתה עוסק, אבל בתור מי שמפרסם בכמה תחומים שונים אני יכול לומר לך שדווקא כן יש הבדל בין התחומים. מצב האסטרופיסיקה, למשל, הוא יותר טוב ממדעי המחשב, ביולוגיה או רפואה.

    רעות, תודה על ההערה. תיקנתי.

    יעל, אני לא טוען שזה מעיד על הכלל. הפוסט הזה הוא די בצחוק בסך הכל. אבל אסור שהשאיפה שלנו לפרסם תוצאות שתומכות בהנחה תפגע באובייקטיביות של המחקר או של הדרך שבה הוא כתוב. מאמר מדעי חייב להיות אובייקטיבי לחלוטין, ואני לא חושב שצריך להיות סלחניים כלפי זה אפילו אם אפשר להבין את נפשו של הכותב. תמיד יכולים להשתרבב איכשהו מאמרים קצת צולעים (לגבי כנסים, אני מכיר הרבה כנסים שמתבצע בהם סינון של חלק גדול מהמאמרים אבל עדיין השיפוט בהם הוא ממש לא קפדני). במקרה הספציפי הזה אני חושב שהתקלות, גם מבחינת הכמות וגם מבחינת דרגת החומרה שלהן, צריכות היו להדליק נורה אדומה מאוד. בטח בכתב עת יוקרתי כל כך ושיש לו כל כך הרבה קוראים. זה כבר מעבר לעניין של דיעה פרטית או שהמאמר לא מצא חן בעיני באופן אישי. איך הם יכולים לכתוב שהשיטה שלהם משתווה לרמת הדיוק של הקוגניציה האנושית ועוד לפרסם את זה בפורום מדעי??? איפה היו העורך והשופטים?? על מה הם חשבו בזמן שהם החליטו שזה מתאים לפרסום?
    תודה על תיקון השגיאות. תיקנתי. אני חושב ששברתי את השיא למספר שגיאות הכתיב שניתן להכניס בפוסט אחד.

    יוסי, אני מסכים שממאמר אחד הנזק הוא לא משמעותי. הבעיה היא שעצם זה שמאמר כזה הצליח לעבור מנגנון שיפוט שאמור להיות קפדני זה דבר לא מעודד ומראה שיש אולי פגם בשיטה. פסיכולוגיה הוא תחום שאני לא מכיר, ודווקא הייתי שמח לדעת על הבעיות שיש בתחום הזה. במדעי החיים נראה לי שיעבור עוד הרבה זמן עד שיהיה תחליף לפרסום בכתבי עת יוקרתיים. המקום בו המחקר התפרסם מאוד משפיע על הצורה שבה מתייחסים למחקר (או לחוקר שביצע אותו).

    גיל, גם לדעתי זה כישלון משולב של העורכים והשופטים. זה שהמאמר יישכח זה בסדר, אבל אם השיטה פגומה אז יבואו אחרים במקומו (ואולי כבר יש, אבל פשוט בתחומים שאין לי בהם שום מושג כך שאני לא יכול לדעת את זה). אני מסכים שזה מקרה חריג שלא משקף את הכלל, אבל עדיין קיימות בעיות שצריך להתייחס אליהן. למשל, הטריק שצבר תאוצה בשנים האחרונות של כתבי עת שמבקשים מהכותבים להמליץ להם על שופטים למאמר שהם בעצמם כתבו.
    לגבי הכותבים, הצמד-חמד הזה פירסם כבר סידרה שלמה של מאמרים מוזרים , אבל כולם בכתבי עת שלא עוסקים בנושא הזה (ראייה מלאכותית וזיהוי פנים) או אפילו בתחום הזה (מדעי המחשב). יכול להיות שהם מעולם לא עברו שיפוט אצל מישהו שבאמת חוקר את התחום, וגם הקוראים של הז'ורנלים שבהם הם פרסמו בדרך כלל לא מבינים בתחום הזה כמעט כלום.

  • גיל  On ינואר 15, 2009 at 7:58 am

    של שופטים. הרי בקלות אנשים יבחרו שופטים שהם לא מבקרים של העבודה שלהם.

    יכול להיות שיש הרבה מאמרים בסגנון הזה בסיינס אבל הנקודה שלי היא שאם אף אחד לא ישחזר את התוצאות של המחקר הספציפי הזה אז דינו להשכח.

  • עידן  On ינואר 15, 2009 at 8:42 am

    הרקליטוס ולא קונפוציוס (המימרה).

    פרט לזה, נשמע די מבהיל כל המסחרה הזאת בסיינס. מתקשר לנושא שמאד מטריד אותי לאחרונה, בכל מיני הקשרים, והוא היחס ההפוך בין כמות מידע לכמות ידע.

  • נ.א  On ינואר 15, 2009 at 9:54 am

    אני מתחום הביולוגיה ההתפתחותית (אבל נוגע גם במדעי המחשב). אני שמח לשמוע שבאסטרופיזיקה המצב טוב. כמי שמכיר את מגוון התחומים הללו, יש לך השערה מדוע המצב באסטרופיזיקה טוב יותר? אין ספק שזה קשור לתרבות מדעית, אבל מעניין אם יש סיבה לכך.

    אני טוען שלדעתי השיטה פשטה את הרגל, לא בגלל שכל המאמרים המתפרסמים כרגע הם גרועים, אלא בגלל שאני מזהה טרנד הולך וגובר של העדפת סנסציות ש"מוכרות" על מדע יסודי. זה התחיל במגזינים המובילים, ואני רואה את זה מתפשט אט אט למגזינים אחרים. אולי המשבר עוד לא הגיע, אבל אם לא יקרה משהו אחר, נראה לי שאנחנו בדרך.

    זאת, מבלי לדבר על הנזק התדמיתי שנגרם למדע. נייצר וסיינס עדיין נהנים ממוניטין שחורג מן הקהיליה המדעית. הרבה מן הזליגה החוצה של מידע מדעי מקורו בעיתונים הללו. אם שיקולי הפרסום יהיו יותר ויותר מי אתה, וכמה מגניב הנושא ולא נניח, אם המסקנות נובעות מהנתונים, זה יצור בסופו של דבר ירידה (מוצדקת!) באמון הציבור – שהוא זה שמשלם בסופו של דבר על כל המדע הזה.

  • אסף  On ינואר 15, 2009 at 12:21 pm

    הייתי מתרגם את הפוסט לאנגלית ושולח אותו לעורך סיינס, ולעוד כמה ג'ורנלים מתחרים (כדי שעורך סיינס לא יחשוב שהוא יכול לקבור את זה במגירה). זה מצחיק, שנון, קולע, וביקורתי במידה שאי אפשר להתעלם ממנה.

  • ליאור  On ינואר 15, 2009 at 4:39 pm

    תודה על התיקון. הייתי בטוח שקונפוציוס עמד מאחורי ההגיג הזה. לך תסמוך על האינטרנט.

  • ליאור  On ינואר 15, 2009 at 4:50 pm

    גם באסטרופיסיקה יש פוליטיקה ותרבות קלוקלת (יש מקום אחד שאין את זה?), אבל זה אפילו לא מתקרב למה שקורה במדעי החיים. אסטרופיסיקאים באופן כללי אוהבים לעבוד אחד עם השני, לשתף זה את זה ולהתקדם יחד לכיוון תגליות חדשות. בביולוגיה…נו, אתה יודע מה המצב. התרבות המדעית באסטרופיסיקה היא הרבה יותר נעימה מאשר הרפש שאתה מוצא במדעי החיים.

    גם אני מזהה העדפה מסויימת למאמרים "טרנדיים" שהמדע שלהם הוא לאו דווקא ברמה הגבוהה ביותר. בתחום שאני עוסק בו כעת זה יוצר נתק בין מה שמתפרסם בכתבי העת לבין מה שקורה במציאות (מה שהקוראים מעוניינים לקרוא). אבל אם עובדים קשה אפשר בסוף לשכנע את העורך שלמאמר יש "שוק". חבל שזה ככה, אבל עוד אפשר איכשהו להסתדר.

  • ליאור  On ינואר 15, 2009 at 4:55 pm

    שלחתי לסיינס מכתב ארוך ברוח זו, אבל מישום מה הם לא מיהרו לפרסם אותו. בשעות הקרובות אני אוסיף לפוסט את הגירסה האנגלית (המקורית, כי במקור כתבתי את זה באנגלית ותרגמתי לעברית). האמת שגם קיבלתי אימייל אחד ששאל אם יש לזה גירסה באנגלית.

    מה שהם כן פירסמו זה מכתב צנוע יותר:
    http://www.sciencemag.org/cgi/content/full/sci;321/5891/912a

    לא בדיוק מה שכתוב בפוסט הזה, אבל לפחות הם לא התעלמו ממני לחלוטין.

    מעניין לקרוא את תגובת הכותבים למכתב:
    "We certainly do not claim that our procedure delivers 100% accuracy in all cases"
    למרות שאני מבין למה הם מתכוונים, הניסוח עדיין מצחיק אותי ומזכיר לי את עמיר פרץ שאמר שלא ייתכן שיהיו אנשים שירוויחו פחות מהשכר הממוצע במשק.

  • רעות  On ינואר 18, 2009 at 5:46 am

    קראתי, שמעתי, הפנמתי.
    אני כרגע כותבת דראפט למאמר שיוגש לירחון מדעי ברמה בינונית פלוס
    אמרתי כבר לכל מי שרצה לשמוע שאין לזה ביסוס סטטיסטי, וכנראה לא יהיה ניתן לשחזר את זה, אבל את הפרופ שלי זה לא מעניין – מבחינתו מה שכתבתי עד עכשיו נראה ונשמע מרשים מספיק כדי שנפיל את זה על הירחון ונראה אם התהליך יחסום את ההגשה או לא.
    זו התנסות סופר חשובה כי אם זה מה שמתקבל בסוף ברור לי, לגמרי, איך להתייחס למאמרים מדעיים אחרים.
    ואם זה הסטנדרט, למה להמשיך באקדמיה ?
    למה שאמשיך לחקור ?
    מדע אמור להיות כלי למציאת אמת ופרסומה, אז למה כל הפרסומים הם מוטי תוצאות חיוביות בלבד ?

    לא יעיל, לא מהנה, לא יצירתי, לא אמיתי ולא נכון , מזל שנותרו כמה מדענים צנועים באמת בעולם שמודים כי מרכולתם מאוד מוגבלת ולא פורצת גבולות כמו שרוב העולם המדעי נוטה היום להגיד ולטפוח על עצמו על השכם, כשי להמשיך ולקבל תקציבים.

    והשאלה האמיתית היא – האם נותרו מדענים אמינים במדעי החיים? אם כן – איפה הם

  • רעות  On ינואר 18, 2009 at 5:54 am

    הנימה הסרקסטית כנראה לא מצאה חן בעינהם, ככל שהירחון או המדען או המפיץ או המפרסם או חברת האם יותר סנובית ומחשיבה עצמה , כך סרקזם יתקבל פחות בברכה ולמעשה ידחה על הסף.
    נקוה למחשבה במכתבי תגובה עתידיים.
    אם כי – המאמר שתיארת היה פשוט מוגזם, לגמרי. ועקב כך סרקזם הוא תגובה הולמת מאוד בעיני..

  • ליאור  On ינואר 18, 2009 at 6:55 am

    אני חושב שהמאמר הזה לא מעיד על הכלל. המצב בפועל הוא הרבה יותר טוב מזה, והמאמר הזה זה באמת נפילה לא אופיינית.
    ברור שהשיטה לא מושלמת ויש בה סדקים, אבל בסופו של דבר המצב הוא לא רע. רוב המאמרים שאני קורא הם הגיוניים במידה מספקת, ותהליך השיפוט הוא בסך הכל סביר והגיוני (וכבר עברתי לא מעט תהליכי שיפוט כאלה). בקיצור, המצב באמת לא כל כך נורא כמו שזה אולי נראה מהמאמר הדפוק הזה, שהוא באמת לא מקרה מייצג.

    שיטת ה"שלח לחמך על פני המים" של המנחה שלך היא בסופו של דבר לטובתך כי זה עוזר לך "להשתפשף" בהגשת מאמרים. יכול להיות שהוא רק רוצה שתצברי ניסיון בזה. יכול להיות שלא. מאמרים שלא ניתנים לשיחזור מין הסתם נשכחים והם לא המאמרים החשובים. המטרה היחידה שהם משרתים זה עוד שורה בקורות החיים של הכותב. אבל מאמרים מסוג זה לא קובעים את הסטנדרט אלא המאמרים שמדווחים על תגליות חשובות יותר, שגורמים לאנשים אחרים להתעניין בהם ולשחזר אותם. המטרה היא להגיע לאותן תגליות, ולא רק לצבור שורות לקורות החיים. זה לא קורה ביום אחד, וזאת הסיבה להמשיך לחקור. או שכמו שאמר קונפוציוס "מצא לך עבודה שאתה אוהב ולא תצטרך לעבוד אפילו יום אחד בכל חייך".

    לגבי התגובה השניה שלך, היה ברור לי שזה לא יעבור. לא בז'ורנל כמו סיינס ובטח לא ממדען פושט כמוני שאף אחד לא שמע עליו. אבל לפחות הם ביקשו גירסה מתונה יותר ופרסמו אותה. מספיק טוב מבחינתי.

  • ליאור  On ינואר 18, 2009 at 6:59 am

    זה מתחיל מזה, וגם את זה צריך לעשות. אני צריך להודות שאני האחרון שיכול להטיף לאנשים בנושא הזה.

  • רעות  On ינואר 18, 2009 at 7:06 am

    וכתודה – תחנת רדיו מגוונת מאוד ומהנה
    http://www.fbi.org.au

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s

%d בלוגרים אהבו את זה: