מה זו הטיה?
הטיה היא נטייה קבועה לכיוון מסוים שגורמת לתוצאה לא מדויקת או לא הוגנת. דמיינו שופט בתחרות בישול שאוהב רק אוכל חריף: גם אם מנה מתוקה מצוינת, היא תקבל ציון נמוך. השופט לא בהכרח רע — פשוט יש לו נטייה קבועה.
גם לבינה מלאכותית יכולה להיות נטייה כזו. היא לא ״רוצה״ להפלות, כי אין לה רצונות או דעות. היא לומדת דפוסים מתוך הדוגמאות שקיבלה, ואם הדוגמאות לא מאוזנות, גם התוצאות עלולות להיות לא מאוזנות.
מאיפה מגיעה הטיה?
חסרות דוגמאות: אם תוכנה לזיהוי פנים אומנה בעיקר על תמונות של אנשים מקבוצה אחת, היא עלולה לעבוד פחות טוב אצל אנשים מקבוצות אחרות. מחקרים מצאו פערים כאלה במערכות זיהוי פנים, ובעקבותיהם חברות וחוקרים עבדו על שיפור הנתונים והבדיקות.
הנתונים משקפים את העבר: אם בעבר רוב הרופאים בספרים ובכתבות היו גברים, תוכנה שלמדה מהטקסטים האלה עלולה ״להניח״ שרופא הוא גבר. כך הבינה המלאכותית ממשיכה דפוסים ישנים גם כשהעולם כבר השתנה.
ההחלטה מה למדוד: לפעמים הבעיה היא לא בנתונים אלא בשאלה שהתוכנה מנסה לענות עליה. אם מודדים רק דבר אחד, כמו מספר הצפיות, אפשר לפספס דברים חשובים אחרים, כמו איכות ודיוק.
דוגמאות שאפשר לראות בעצמכם
תרגום: באנגלית אפשר לכתוב the doctor בלי לציין אם מדובר ברופא או ברופאה. כשמתרגמים לעברית, התוכנה חייבת לבחור, ולפעמים היא בוחרת לפי מה שהיה נפוץ בטקסטים שלמדה מהם: the doctor מתורגם ל״רופא״ ו־the nurse ל״אחות״. יש מערכות תרגום שמציעות לפעמים את שתי האפשרויות.
תמונות: כשמבקשים מתוכנה ליצור ״תמונה של מדען״ או ״תמונה של מנהל״, התוצאות עלולות להראות שוב ושוב את אותו סוג של אנשים, כי זה מה שהופיע הכי הרבה בתמונות שהיא למדה מהן.
המלצות: מערכת שממליצה על סרטונים לומדת ממה שצפיתם. אם צפיתם בכמה סרטונים מאותו סוג, היא עלולה להראות לכם עוד ועוד מאותו דבר, וכך תראו פחות רעיונות ונקודות מבט שונות.
למה זה חשוב?
כשבינה מלאכותית משמשת להחלטות חשובות — למשל לסינון מועמדים לעבודה, לעזרה באבחון רפואי או להחלטה מי יקבל הלוואה — הטיה יכולה לפגוע באנשים אמיתיים. ואם כולם בטוחים ש״המחשב אובייקטיבי״, קשה יותר לשים לב לבעיה.
בגלל זה חשוב לזכור שמאחורי כל מערכת יש אנשים שבחרו נתונים, קבעו מטרות ובדקו תוצאות. הם אחראים לבדוק שהמערכת הוגנת לכולם.
גם הוגנות עצמה היא שאלה לא פשוטה. האם הוגן פירושו שכולם יקבלו בדיוק אותו יחס, או שמי שהיה בעמדה חלשה יקבל עזרה נוספת? אנשים חכמים חלוקים על כך, ולכן ההחלטות האלה לא צריכות להתקבל רק על ידי מתכנתים, אלא גם בשיחה עם הציבור, עם מומחים ועם האנשים שהמערכת משפיעה עליהם.
מה אפשר לעשות?
מפתחים יכולים לאסוף נתונים מגוונים יותר, לבדוק את המערכת על קבוצות שונות של אנשים לפני שמשתמשים בה, ולתקן כשמתגלים פערים. גם צוותים מגוונים — אנשים מרקעים שונים — עוזרים לשים לב לבעיות שאחרים לא היו רואים.
ואתם? כשאתם משתמשים בבינה מלאכותית, שימו לב לתוצאות: האם התמונות מראות רק סוג אחד של אנשים? האם התרגום הניח משהו שלא נכתב? אפשר לבקש מהתוכנה תוצאות מגוונות יותר, לדווח על תשובה לא הוגנת, ופשוט לזכור שגם מחשב יכול לטעות בדרך שפוגעת באחרים.