يقع القصر وسط مدينة أملج القديمة، ويأخذ شكل القلعة الحصينة في تخطيطه٬ وكان مقرًا للإمارة لفترة طويلة٬ ويعد من الأمثلة القليلة الباقية من المباني القديمة بمدينة أملج، يقع قلعة أملج وسط البلدة شمال الميناء الحالي للمدينة، حيث تم بنائها عام 1304 هـ بأمر من الحكومة العثمانية لتكون مركزاً للحكم ومقرا للحاكم والحامية العسكرية، والتي بنيت من الصخور البركانية السوداء التي تم جلبها من موقع الحوراء الأثري شمال أملج بشكل مستطيل يبلغ طوله 30م وعرضه 25م.