כדי לאמן מודל צריך מאגר נתונים מתאים. למודל שמזהה פרחים צריך אלפי תמונות של פרחים; למודל שמתרגם צריך הרבה משפטים עם התרגום שלהם. בדרך כלל מחלקים את המאגר לשני חלקים: חלק גדול לאימון, וחלק נפרד לבדיקה — כדי לבדוק את המודל על דוגמאות שהוא לא ראה.
איכות המאגר חשובה מאוד: האם הוא גדול מספיק? האם הוא מגוון — פרחים בצבעים, בזוויות ובתאורות שונות? האם יש בו טעויות? מאגר שחסרות בו קבוצות מסוימות עלול ליצור מודל עם הטיה. בנוסף, צריך לבדוק שהנתונים נאספו בהגינות ובהסכמה, במיוחד כשמדובר בתמונות או בפרטים של אנשים.
טעות נפוצה היא לחשוב שמאגר ענק הוא תמיד מאגר טוב. מאגר גדול עם הרבה שגיאות או עם תמונות דומות מדי יכול ללמד את המודל דברים שגויים. לפעמים מאגר קטן יותר אבל נקי ומגוון עדיף.