מלכי יהודה היו כפופים לבבל ושילמו לה מס, אבל חלקם ניסו למרוד. הנביא ירמיהו הזהיר שהמרד יסתיים באסון. בגל ראשון הגלתה בבל את המלך יהויכין ורבים מהמכובדים ובעלי המלאכה, ואחרי מרד נוסף הטיל צבאה מצור על ירושלים, פרץ את החומה ושרף את המקדש — בשנת 586 לפני הספירה לפי החישוב המקובל.
בבבל הגיעו הגולים לעיר מפוארת, עם חומות אדירות ושער אישתר המקושט בלבנים כחולות. רבים מהם התגעגעו לירושלים, ומזמור בתהילים מתאר את הגולים יושבים ובוכים ״על נהרות בבל״. אבל הם לא נעלמו כמו עשרת השבטים: הם בנו בתים, עבדו וסחרו, ובמקביל המשיכו לשמור שבת, ללמוד ולספר את סיפורי העם. הנביא יחזקאל פעל ביניהם.
לפי חוקרים רבים, הגלות לימדה שאפשר לשמור על זהות יהודית גם בלי מקדש ובלי מדינה. טעות נפוצה היא לחשוב שכל הגולים חזרו כשכורש התיר זאת. בפועל, קהילה יהודית גדולה נשארה בבבל, ובמשך מאות שנים הייתה אחד המרכזים החשובים של העם היהודי — עד שיהודי עיראק עלו לישראל בשנות ה־50.