מה מידת האמינות של זיהוי על פי טביעת אצבע?

בפוסט קודם קבל המגיב יונתן על כך שלא סיפקתי נתונים על הסיכוי שטביעת אצבע תזוהה בטעות כשייכת למישהו אחר, וטען ש"כל סטודנט יכול לעשות את זה". להגנתי טענתי שהמשימה היא הרבה פחות פשוטה ממה שאולי נדמה, אבל במקביל גם יצאתי לחפש אם יש מישהו אחר שניסה לעשות דבר דומה. הדבר הקרוב ביותר לכך שהצלחתי למצוא הוא ניסוי שביצעו מדענים מאונ' קליפורניה (אירווין), ושממצאיו פורסמו בשנה שעברה.

במחקר ביצעו החוקרים ניסויים בעזרת מאגר טביעות אצבע קטן באופן יחסי, ותוכנה מסחרית לזיהוי אוטומטי של טביעות אצבע AFIS. כדי לבדוק את הדיוק של התוכנה בזיהוי טביעות אצבע לטנטיות (שאינן טביעות מעבדה) ביקשו עורכי המחקר את עזרתם של סטודנטים לתואר ראשון, ואף הציעו יחידת זכות אקדמית בתור "מענק" עבור ההשתתפות בניסוי. הסטודנטים כמובן לא איכזבו, ונהרו בהמוניהם על מנת להקריב למען המדע את טביעות 10 אצבעותיהם (מי שעוסק במחקר קליני יודע שסטודנטים לתואר ראשון מסוגלים לעשות גם דברים נוראים הרבה יותר בעבור יחידת זכות). בסך הכל השתתפו בניסוי למעלה מ-500 סטודנטים. את טביעות האצבע אספה קבוצת סטודנטים קטנה יותר שהוכשרה במיוחד למשימה, ובנתה בסיס נתונים הכולל טביעות אצבע באיכות מעבדה וכן טביעות אצבע של אותם אנשים באיכות של טביעת אצבע לטנטית. תוצאות הניסוי הראו שבמרבית המקרים (58%) התוכנה לא הצליחה לזהות בצורה מדוייקת את טביעת האצבע הנכונה, אלא בחרה דווקא בטביעת אצבע של סטודנט אחר. ברובם המכריע של המקרים בהם ביצעה התוכנה זיהוי שגוי, האדם שלו היתה שייכת טביעת האצבע לא היה מדורג בין 10 טביעות האצבע הקרובות ביותר.

הביצועים המאכזבים של תוכנת הזיהוי עשויים להיות תוצאה של איכות תהליך האיסוף של טביעות האצבע, שהתבצע על ידי סטודנטים אשר אומנו למשימה בצורה נמהרת. על כן נערך ניסוי נוסף אשר השתמש בטביעות אצבע של 257 אנשים שנאספו על ידי מומחים מטעם מכון התקנים האמריקאי. הפעם הצליחה התוכנה לזהות נכון כ-70% מטביעות האצבע, וב-12% נוספים הזיהוי הנכון היה בין 10 הקרובים ביותר שנמצאו על ידי התוכנה. ב-18% מהמקרים האדם הנכון לא נכלל ברשימת 10 טביעות האצבע הדומות ביותר של התוכנה. אמנם הנתונים טובים יותר מטביעות האצבע שנאספו על ידי סטודנטים, אך יש לציין שגם בסיס הנתונים קטן יותר, מה שמקטין את הסיכוי לשגיאה.

להגנת תוכנת AIFS יש לציין שהיא מיועדת לטביעות אצבע שנאספו בתנאי מעבדה ולא טביעות אצבע לטנטיות, אולם השאלה העיקרית היא עד כמה אחוז הזיהוי של התוכנה רלוונטי לזיהוי של מומחה אנושי. על כך כותבים עורכי המחקר:

"It is commonly asserted that human matchers are ‘more accurate’ than AFISs (Meagher, 2005). This remains an untested assumption. In these experiments, we have demonstrated that non-mate prints can sometimes appear more similar than mate print pairs to an identification system that otherwise achieves a reasonable degree of accuracy. Whether this would hold more or less true for human expert system is a question that cannot be answered without comparable data on human examiners. Such data do not yet exist.
 

     

הקשר בין מידת הדיוק של תוכנת מחשב לבין מידת הדיוק של מומחה הוא קשר די גס (שלא לומר "מקרי"). למרות זאת, ידוע כבר על מקרים בהם מומחים עתירי ניסיון שגו בזיהוי טביעת אצבע, ואנשים חפים מפשע הורשעו ונכלאו על סמך זיהוי שגוי כזה. המספר האמיתי של אנשים שהורשעו לשווא בגלל טעות בזיהוי טביעת האצבע שלהם לא יתגלה לעולם, אבל עצם קיומם של מקרים כאלה מראה שהסבירות הזו קיימת במידת התכנות בלתי זניחה. ברור שככל שגדל מאגר טביעות האצבע, כך גדל הסיכוי שטביעת אצבע של האדם הלא נכון "תעלה בגורל" כזהה לטביעה שנמצאה בזירת פשע כלשהי. למרות שהסבירות הסטטיסטית לא ידועה, הסיכוי לכך הוא בלתי זניח, ולכן אם יעשה שימוש במאגר ביומטרי מקיף כלשהו על מנת לגלות מי נכח בזירת פשע מסויימת, כנראה שמידי פעם יקרא לחקירה אדם תמים אשר אין לו שום קשר למקרה. כמובן שרוב האנשים יוכלו להוכיח את חפותם, אבל לא מין הנמנע שאנשים חלשים יותר יתבלבלו תחת המעמד של חקירה משטרתית, ויודו או יביאו את עצמם לכדי הרשעה בפשע שמעולם לא ביצעו. מנגד, חוקרי משטרה שמצאו ראייה שהם מאמינים בה כי היא הוכחה לאשמה עלולים להפעיל לחצים על החשוד בכדי לגרום לו להודות במה שהם סבורים שזו האמת. בשביל זה אין צורך בדליפת המאגר או שימוש זדוני ובלתי מורשה בו, אלא עצם הקיום שלו יעמיד את האזרחים החלשים יותר בסכנה של האשמה בפשע שלא ביצעו.

למאמר המלא:
SA Cole, M Welling, R Dioso-Villa, 2008, Beyond the individuality of fingerprints: a measure of simulated computer latent print source, Law, Probability and Risk, 7, 185-189

מודעות פרסומת
Post a comment or leave a trackback: Trackback URL.

תגובות

  • גלי  On יולי 27, 2009 at 9:12 am

    פרסמתי על הנושא של דיוק טביעות האצבע דיון בדה מרקר בעקבות כתבה של הלוס אנג'לס טיימס:
    http://cafe.themarker.com/view.php?t=539602
    הטיימס פרסמו את הכתבה הבאה:
    http://www.latimes.com/news/custom/scimedemail/la-me-dna20-2008jul20,0,1850019.story
    ואז התחילו לדבר על הנושא.
    והבעיה חמורה כי מדובר למיטב זכרוני משנה שעברה באנשים בעלי פרופילים גנטיים זהים והם לא קרובים. ולכן האמינות של טביעות אצבע למשל היא מוטלת בספק.

  • יונתן  On יולי 27, 2009 at 9:48 am

    יקחו עוד פעם את טביעת האצבע שלו והפעם יוודאו ע"י מומחה שאכן מדובר באותה טביעה,מן הסתם ההרשעה לא תתבסס רק על הזיהוי המוקדם.

    לגבי לחצים לא הוגנים בחקירה,אלו דברים שאפשר לפתור ע"י צילום החקירות (רצו להתחיל השנה עם צילום כל החקירות אבל בגלל בעיות תקציב זה נדחה) והגדרת המותר והאסור בחקירה.

    יכול להיות שגם אותה תוכנה פחות מוצלחת מהתוכנות שבד"כ משתמשים בהם.

  • משתמש אנונימי (לא מזוהה)  On יולי 27, 2009 at 10:07 am

    אפשר אולי לשנות את הכותרת?…

    אני כל הזמן קורא שם, על אפשרות זיהוי של פי הטבעת…
    🙂

  • ליאור  On יולי 27, 2009 at 5:04 pm

    זה נכון שגם על התורשה עדיין יודעים מעט מאוד, ויכול להיות שקצת מיהרו מדי כשהחליטו להשתמש בזה בדברים שחורצים את גורלו של אדם.
    אבל הבעיה עם טביעת האצבע היא אפילו יותר חמורה כי הניתוח של הוא סובייקטיבי יותר, וגם אנשים שלא בהכרח קרובים גנטית יכולים להיות בעלי טביעות אצבע דומות מספיק בשביל לאפשר זיהוי שגוי. בטח כשאוספים שברירי טביעות אצבע מזירת פשע. בכל אופן, בבדיקת ד.נ.א. (וגם בטביעת אצבע במצב של היום) משתמשים בדרך כלל כדי לוודא שחשוד מסויים הוא אכן האדם אותו מחפשים. במאגר טביעת אצבע פשוט מחפשים מבין מיליוני דגימות, וכך יש סיכוי לא רע בכלל לטעות. אפשר רק לקוות שלא יוקם במקביל גם מאגר ד.נ.א.

  • ליאור  On יולי 27, 2009 at 5:18 pm

    גם היום חקירה זה לא ג'ונגל, והמותר והאסור מוגדרים היטב. בכל זאת, כשחוקר מוצא ראייה הוא עושה הכל כדי לוודא הרשעה ולסגור את התיק. לא רק בישראל אלא בכל מקום. אדם תמים שנקלע למצב כזה יכול בקלות להכשל, וחוקרים גם עלולים לנצל את החולשה הזאת לטובתם כדי להשיג הרשעה. זכור את מקרה "רוצחי" אולג שוייחט. גם לחוקרים וגם לנאשמים היה ברור שהם לא ביצעו את הרצח, אבל זה בכל זאת נסגר בהרשעת שווא שרק במקרה התגלתה.

    לגבי זיהוי על ידי מומחה, גם המומחים טועים. יש לא מעט דוגמאות על מקרים שבהם ידוע בוודאות שמומחים זיהו טביעת אצבע באופן שגוי וגרמו להרשעת שווא. יכול להיות גם לחץ על מומחה לאשר מקרי ביניים.

  • אהוד  On יולי 27, 2009 at 10:17 pm

    ליאור זה לא נראה לך אירוני שלפני מספר בלוגים טענת כי הטכנולוגיה לקריאת מחשבות כבר כאן אבל מצד שני אין ביכולתינו לזהות טביעות אצבעות בודאות גבוה. כמובן שמדובר בבעיות שונות שאינן קשורות אבל בכל זאת…

    מצד שני אני זוכר כי לפני עשר או חמש-עשר שנים הבעיה של זהוי כתב יד נחשבה לבעיה מאד קשה ואולי אפילו חניחו כי היא לא פתירה וכיום הטכנולוגיה הזו היא יומיומית.

  • ליאור  On יולי 28, 2009 at 2:36 am

    יש טעם בדברים שלך. יש באמת הרבה טכנולוגיות שהתחילו בקטן והתקדמו במהירות מסחררת. מצד שני יש גם טכנולוגיות מבטיחות מאוד שנקלעו לחורף ארוך וקר (מסעות מאויישים בחלל, למשל). מה שאני מנסה לומר כאן זה שקשה להסיק מהתקדמות של אפיק טכנולוגי כלשהו לגבי ההתקדמות של אפיק אחר.

    אבל טכנולוגיה ניתן לפתח רק אם המדע שמאפשר אותה כבר קיים. הבעיה העיקרית עם טביעת האצבע היא שכיום הבסיס המדעי אינו רחב מספיק בשביל לתמוך בהתכנות של טכנולוגיה כזאת. לא מבחינת הניתוח של דימיון של טביעות אצבע (האם קיימות שתי טביעות אצבע שהדימיון בינהן לא מאפשר להבדיל בינהן), ולא מבחינת כמות המידע שיש בטביעת אצבע לטנטית (עד כמה המידע בטביעת אצבע לטנטית מאפשר זיהוי מדוייק). כלומר, עוד לפני שאנחנו נכנסים לנושא של הטכנולוגיה, יש כמה שאלות פתוחות ברמת המדע.

    אולי בעתיד תהיה טכנולוגיה שמנתחת באמינות מושלמת כל טביעת אצבע. זה יכול להיות. אבל גם יכול להיות שלא. בכל מקרה, על פי קצב ההתקדמות של התחום נראה שיעבור עוד לא מעט זמן עד שטכנולוגיה כזאת תהיה קיימת, אם בכלל.

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s

%d בלוגרים אהבו את זה: