Dalam dua milenium sebelum Masehi, misalnya, tempat ini dikenal sebagai Rushalimum dan kemudian sebagai Urusalim. Di awal masa Islam, nama tempat ini ialah Iliya’ madinat bayt almakdis. Nama-nama lain muncul belakangan, mulai dari al-Kuds, al-ard al-mukaddasa, dar al-salam, hingga ‘ir hash-shalom (dari bahasa Ibrani).
Dilihat dari peninggalan arkeologis yang ada, Yerusalem telah dihuni manusia sejak Zaman Perunggu Awal (sekitar 3000 SM). Bangsa Jebusit yang berasal dari Semit Barat adalah penghuni awal Yerusalem. Orang Yahudi percaya bahwa sekitar tahun 1000 SM Raja Daud berhasil menaklukkan kotanya orang Jebusit ini dan menjadikannya sebagai pusat politik dan keagamaannya.
Tiga pengikut agama samawi memiliki ikatan dengan Yerusalem. Bagi orang Yahudi, Yerusalem adalah tempat kuil suci mereka. Penguasa Romawi pagan menghancurkan situs penting Yahudi di sana.
Barulah setelah penguasa Romawi memeluk agama Kristen orang Yahudi diperbolehkan untuk memasuki Yerusalem. Mereka diizinkan menangisi hancurnya kuil kuno mereka, suatu ritual yang masih mereka lakukan hingga kini di tempat yang dikenal sebagai Tembok Ratapan (Tembok Burak dalam istilah warga Palestina).
Bagi orang Kristen, Yerusalem dipercaya sebagai tempat berlangsungnya berbagai peristiwa yang berkaitan dengan kehidupan Yesus. Berbagai monumen Kristen dibangun di sini saat penguasa Romawi, Constantine, memeluk Kristen.