אחרי שרומא השתלטה על הארץ, היא שלטה בה בהתחלה דרך מלכים כמו הורדוס ובהמשך באמצעות נציבים. רבים מהנציבים לא כיבדו את המנהגים היהודיים, גבו מסים כבדים ולעיתים נהגו באכזריות. העם היה מפולג: היו שרצו לחיות בשקט תחת רומא, והיו שהאמינו שהגיע הזמן להשתחרר בכוח. בשנת 66 פרץ מרד גלוי, ובתחילה הצליחו המורדים.
רומא שלחה את המצביא אספסיאנוס עם צבא גדול, שכבש את הגליל ואזורים נוספים. כשאספסיאנוס נעשה קיסר, בנו טיטוס המשיך במלחמה. בירושלים הנצורה נלחמו קבוצות מורדים יריבות זו בזו, מחסני מזון נשרפו והרעב החמיר. בשנת 70 פרצו הרומאים את החומות, ובית המקדש עלה באש. ברומא הקימו את שער טיטוס, ועליו תבליט של חיילים נושאים את המנורה.
לפי מסורת מפורסמת, רבן יוחנן בן זכאי יצא מירושלים הנצורה וביקש מהרומאים את יבנה וחכמיה. שם התאימו החכמים את החיים היהודיים למציאות בלי מקדש. טעות נפוצה היא לחשוב שהמרד הסתיים ב־70: מצדה, המעוז האחרון, נפלה רק כמה שנים אחר כך.