כדי למדוד דיוק בודקים את המודל על דוגמאות שהוא לא ראה באימון ושיש לנו את התשובה הנכונה שלהן. סופרים כמה פעמים צדק ומחלקים במספר הדוגמאות. כך אפשר להשוות בין מודלים ולבדוק אם שינוי שעשינו שיפר את המודל או קלקל אותו.
גם מודל עם דיוק גבוה טועה. דיוק של 99 אחוז נשמע מצוין, אבל אם מודל בודק מיליון תמונות, הוא יטעה בערך בעשרת אלפים מהן. בנוסף, חשוב לדעת באילו מקרים הוא טועה: מודל רפואי שמפספס מחלה טועה טעות מסוכנת יותר מאשר מודל שמזהה פרח לא נכון.
טעות נפוצה היא לחשוב שדיוק גבוה בבדיקה מבטיח הצלחה בכל מקום. אם התמונות בעולם האמיתי שונות מתמונות הבדיקה — תאורה אחרת, מצלמה אחרת או אנשים אחרים — הדיוק עלול לרדת. לכן ממשיכים לבדוק מודלים גם אחרי שמתחילים להשתמש בהם.

