לפי ספר מלכים, שלמה בנה את בית המקדש הראשון על הר המוריה בירושלים, והכניס אליו את ארון הברית. בבית המקדש עבדו הכוהנים והלויים, הביאו קורבנות, והעם עלה אליו לרגל בשלושת הרגלים: פסח, שבועות וסוכות.
הבית הראשון הוחרב בידי צבא בבל בימי נבוכדנצר, ורבים מאנשי יהודה הוגלו. אחרי שיבת ציון, בהיתר של כורש מלך פרס, בנו השבים את בית המקדש השני. הבית השני עמד מאות שנים, עד שהוחרב בידי הרומאים, בשנת 70 לספירה. בתשעה באב מתאבלים על חורבן שני הבתים.
הכותל המערבי בירושלים איננו קיר של בית המקדש עצמו, אלא חלק מהחומה שהקיפה את הר הבית בימי הבית השני. טעות נפוצה היא לחשוב שבית המקדש היה בית כנסת גדול; בעצם בית הכנסת הוא מקום תפילה שאפשר להקים בכל מקום, ובית המקדש היה מקום אחד ויחיד.