מערכת לומדת מהדוגמאות שנותנים לה. אם רוב התמונות של ״רופא״ בנתונים הן של גברים, המערכת עלולה ״ללמוד״ שרופא הוא תמיד גבר. אם מערכת לזיהוי פנים אומנה בעיקר על פנים של קבוצה אחת, היא עלולה לטעות יותר כשמדובר באנשים מקבוצות אחרות. המערכת לא ״רוצה״ להפלות — היא פשוט משקפת את מה שהיה בנתונים.
הטיה יכולה לגרום נזק אמיתי, למשל אם מערכת עוזרת להחליט למי לתת הלוואה, עבודה או טיפול. לכן מפתחים אחראים בודקים את המערכות שלהם על קבוצות שונות, מוסיפים נתונים מגוונים ומבקשים מאנשים לבדוק את ההחלטות החשובות.
טעות נפוצה היא לחשוב שמחשב תמיד הוגן כי ״הוא רק מחשב״. מחשב יכול לחזור על דעות קדומות שהיו בנתונים, ואפילו להגדיל אותן. גם אנחנו יכולים לזהות הטיה: כששמים לב שכלי AI נותן תמיד אותו סוג של תשובה או תמונה, כדאי לשאול — למה?