בוואדיות העיר חיפה מתקיים מזה מספר שנים במהלך החורף סקר לילי לניטור אוכלוסיות הסלמנדרות. כחלק מהסקר, המתנדבים מצלמים את גב הסלמנדרה משום שלכל סלמנדרה יש דגם כתמים ייחודי לה, בדומה לטביעת אצבע. דגם זה מאפשר זיהוי אינדיווידואלי של סלמנדרות ומעקב אחרי הפרטים המזוהים לאורך זמן.
כיום הזיהוי נעשה בעיקר באופן ידני: המתנדבים משווים בין תמונות של סלמנדרות ומנסים לקבוע האם מדובר בפרט שכבר תועד בעבר או בפרט חדש. הזיהוי הפרטני חשוב במיוחד בסקרי סלמנדרות, משום שהוא מאפשר לעקוב אחר גודל האוכלוסייה המקומית, לבדוק אילו פרטים שורדים משנה לשנה, לזהות תצפיות חוזרות ולבחון שינויים במבנה האוכלוסייה ובפיזורה.
על רקע זה, פרופ’ אילן שמשוני והסטודנטית טל ספר מאוניברסיטת חיפה, החלו לבנות מודל ממוחשב שמטרתו לסייע בתהליך הזיהוי. המודל לא מחליף את שיקול הדעת של אנשי השטח, אלא נועד לקצר את העבודה הידנית, להציע התאמות סבירות ולסייע באיתור פרטים מוכרים או חדשים בצורה שיטתית יותר.
זיהוי פרטני של סלמנדרות הוא אתגר לא פשוט: כל סלמנדרה נראית מעט אחרת, תנוחת הגוף משתנה מתמונה לתמונה, הזנב והרגליים עשויים להתפתל ולעיתים קרובות הצילום מתבצע בלילה, בזווית לא אידיאלית או עם החזרי אור. המודל שפותח נועד להתמודד בדיוק עם המורכבות הזו, ולזהות האם סלמנדרה שצולמה בשטח כבר קיימת במאגר התמונות.
השלב הראשון הוא פירוק תמונת הסלמנדרה לאזורי גוף. המערכת מזהה ומסמנת את הראש, הגב, הזנב והרגליים – רגל ימין עליונה, רגל ימין תחתונה, רגל שמאל עליונה ורגל שמאל תחתונה. חלוקה זו מאפשרת להבין לא רק איך הכתמים נראים, אלא גם היכן הם נמצאים על הגוף.
לאחר מכן נוצרת “מסכה” של הכתמים: תמונה חדשה שבה מופיעים רק הכתמים שעל גוף הסלמנדרה. מתמונה זו מחלץ המודל מאפיינים שונים של כל כתם, כגון גודל, צורה, מידת עגולוּת או אליפטיות, וכן מיקום יחסי על הגוף.
כיוון שסלמנדרות עשויות להתפתל או להצטלם מזוויות שונות, המודל לא מסתפק במיקום רגיל בפיקסלים. הוא מחשב את מיקום הכתמים ביחס לקו האמצע של גוף הסלמנדרה. כך מתקבל מיקום מנורמל: כתם על הזנב, למשל, יישאר מזוהה ככתם על הזנב גם אם הזנב התקרב פיזית לראש בגלל תנוחת הגוף.
כל כתם מיוצג לאחר מכן כווקטור מספרי: רשימה ארוכה של ערכים המתארים את צורתו, גודלו, מיקומו ומאפיינים נוספים. הייצוג הזה מוזן לרשת נוירונים, שממירה אותו לייצוג מספרי שמאפשר למדוד דמיון בין כתמים.
כדי לאמן את הרשת, מוצגים לה זוגות של תמונות של אותה סלמנדרה. עבור כתם מסוים בתמונה אחת, המודל לומד איזה כתם בתמונה השנייה הוא אותו כתם ממש. ההתאמה הנכונה נחשבת “דוגמה חיובית”, וכל שאר הכתמים הם “דוגמאות שליליות”. מטרת האימון היא לקרב במרחב החישובי כתמים זהים מתמונות שונות, ולהרחיק כתמים שאינם מתאימים.
בהשוואה בין שתי תמונות, המודל מחשב מרחק בין כל כתם בתמונה הראשונה לבין כל כתם בתמונה השנייה. התוצאה היא מטריצת מרחקים. כדי לבחור את ההתאמות הטובות ביותר בין הכתמים, נעשה שימוש באלגוריתם, שמוצא התאמה מיטבית כוללת – לא רק את ההתאמה הכי טובה לכל כתם בנפרד, אלא את מערך ההתאמות הטוב ביותר עבור כל הכתמים יחד.
אבל ההתאמה הראשונית אינה מושלמת. לכן המערכת מבצעת בדיקות נוספות: היא בוחנת האם המרחקים בין זוגות כתמים נשמרים בין שתי התמונות, ואף משווה משולשים של כתמים. אם שני כתמים או שלושה כתמים שומרים על יחסים גיאומטריים דומים בשתי התמונות, זה מחזק את הסיכוי שההתאמה נכונה. אם היחסים משתנים מאוד, יתכן שהמודל טעה.
לאחר מכן המערכת עוברת מרמת הכתם לרמת התמונה. לכל התאמה בין כתמים ניתן ציון הסתברות ומתוך ההתאמות נבחרים הכתמים האמינים ביותר. על בסיסם ניתן ציון כולל לדמיון בין שתי התמונות. כאשר תמונת בדיקה מושווית לכל מאגר התמונות, מתקבל דירוג של המועמדות הסבירות ביותר.
התוצאות נמדדות במדדים כמו Top 1, Top 5 ו־Top 10. כלומר, Top 1 בודק אם ההצעה הראשונה של המודל היא הסלמנדרה הנכונה. Top 5 בודק האם הסלמנדרה הנכונה נמצאת בין חמש ההצעות הראשונות ו־Top 10 בודק זאת בעשר ההצעות הראשונות. בבדיקה על מאגר ראשוני של 163 תמונות התקבלו כ־83% הצלחה ב־Top 1.
אחד הממצאים החשובים הוא שככל שיש יותר תמונות של אותה סלמנדרה במאגר, סיכויי הזיהוי משתפרים. גם צילום של יותר מתמונה אחת בעת התצפית יכול לעזור: אם אותה סלמנדרה מצולמת מזווית מעט שונה או לאחר תזוזה קלה, המערכת יכולה לשלב את המידע משתי התמונות ולהגיע לזיהוי בטוח יותר.
בשלב הבא מתוכנן להרחיב את המאגר, לבדוק את המודל על מאות תמונות נוספות ולפתח ממשק פשוט להעלאת תמונות חדשות. המודל לא מחליף את שיקול הדעת של אנשי השטח, אלא מספק כלי תומך החלטה. הוא מצמצם משמעותית את זמן החיפוש, מדרג את המועמדות הסבירות ומאפשר לזהות פרטים מוכרים בצורה שיטתית יותר. ככל שייאספו יותר תמונות איכותיות ומגוונות, כך צפוי המודל להשתפר ולהפוך לכלי שימושי יותר לניטור אוכלוסיות סלמנדרות בישראל.
צילום תמונת הנושא: maio Eshet, iNaturalist