أطلق المسلمون على أورشليم اسم القدس (أي المدينة المقدسة). وقد شكلت المنطقة في الإمبراطوريات العربية المتعاقبة وحدة إدارية كانت تسمى جند فلسطين. وقد شكلت جزءً من أراضي بلاد الشام الأكبر بكثير – والمعروفة أيضاً باسم سوريا الكبرى، والتي تغطي الأراضي الحالية للبنان وسوريا والأردن وفلسطين/إسرائيل الحالية. ودعي سكانها بأهل الشام.
تم استبدال حكم الخلفاء الأمويين، والذي كان مقره في دمشق (661-750)، بحكم الخلفاء العباسيين (750-969)، والذين نقلوا المركز الإداري من دمشق إلى بغداد. وفي نهاية المطاف، طرد الفاطميون، وهم سلالة شيعية من شمال إفريقيا، العباسيين من أراضيهم. وشاركوا بعد ذلك في صراع على السلطة مع الأتراك السلاجقة الذين استولوا على القدس عام 1073، ولكنهم طردوا من قبل الفاطميين عام 1098 – عشية وصول الصليبيين.
