בסוף מלחמת העצמאות נחתמו הסכמי שביתת נשק עם מצרים, לבנון, ירדן וסוריה. הקווים שבהם נעצרו הכוחות סומנו על המפות בצבע ירוק — ומכאן השם ״הקו הירוק״. אלה לא היו הסכמי שלום מלאים, אלא הסכמים להפסקת הלחימה, ולכן הקווים נקראו ״קווי שביתת נשק״ ולא גבולות קבע.
לאורך הקו הירוק חולקה גם ירושלים: מערב העיר היה בידי ישראל, והעיר העתיקה ומזרח העיר נשארו בשליטת ירדן. במשך כ־19 שנה, עד 1967, עבר בעיר קו שהפריד בין שני חלקיה. בעקבות מלחמת ששת הימים עברו לשליטת ישראל שטחים נוספים שמעבר לקו.
עד היום משתמשים במונח ״הקו הירוק״ כדי לתאר את הקו שהיה גבול המדינה בין 1949 ל־1967. טעות נפוצה היא לחשוב שמדובר בקו שצבוע בירוק על הקרקע — ״ירוק״ הוא רק צבע הסימון על המפות של אז. עוד טעות היא לבלבל בינו לבין גבולות תוכנית החלוקה של האו״ם מ־1947 — אלה קווים אחרים.