كان الخديو عباس باشا الأول يعاني من مرض الربو، فنصحه الأطباء وقتها بالإقامة في إحدى المناطق جافة الطقس، لذلك خطط الخديو عباس حلمي الأول لبناء قصر فوق ثالث أعلى قمة جبلية بمدينة سانت كاترين، وذلك أملًا في الاستشفاء والتعافى بهواء الجبل الصحي.
وبدأ بالفعل في إقامة القصر على مساحة 450 مترا مربعا وجرى اختيار هذا الجبل الذي يبلغ ارتفاعه 2383 متر فوق سطح البحر ليكون أرضًا لإقامة القصر، والذي يمكن تسلقه بداية من مدينة سانت كاترين حتى القمة في مدة زمنية تصل إلى 3 ساعات ونصف عن طريق مدق أبو جيفة مرورًا بعين شكية (عين مياه للشرب)، ووادى الأخديد ومنطقة الزواتين ووصولًا في النهاية لقمة جبل عباس باشا. وتعد رحلة الصعود والسير إلى قمة جبل عباس باشا بمثابة رحلة سياحة استشفائية وبيئية.
وأشار الدكتور إسلام نبيل عبدالسميع، رئيس مكتب هيئة تنشيط السياحة بجنوب سيناء، من خلال هاشتاج "أعرف بلدك"" الذي أطلقه على صفحته الرسمية على مواقع التواصل الاجتماعي؛ للتوعية السياحية والأثرية عن جنوب سيناء، إلى أنه يشاع أن الخديو عباس باشا الأول وقع اختياره على هذا الجبل والذي أطلق عليه جبل عباس باشا، بعد وضع قطع من اللحم في عدة قمم جبلية وملاحظة مدى بطء تحللها على هذا الجبل عن غيره من الجبال الأخرى.
بدأ الخديو عباس الأول باشا بالتشييد والبناء عام 1853م ولكنه مات في العام التالى 1854م وتوقف بناء القصر الذي كان من المقرر له ان يكون تحفة معمارية ليس لها مثيل في ذلك الوقت، ومازال القصر الذي لم يكتمل بناؤه حتى الآن مهجورًا على القمة ويمكن رؤيته من أسفل الجبل واضحًا.
كان الخديو عباس باشا الأول، قد قرر أن يشيد القصر من طابقين، ولازالت كتل الجرانيت التي لم تستخدم ملقاة ومبعثرة، والبوابات لم يكتمل بناؤها ومحاطة بأعتاب عليا رائعة الشكل ومربعة المساحة، وجرى استخدام مادة تحل محل الأسمنت عند البناء، وهى مادة كانت تصنع من كسارات رواسب جيرية على صخور غمرت بالمياه.
