Le château, situé au sommet de la colline Gellert, a été construit par les Habsbourg à la suite de l'échec de la guerre d'indépendance hongroise.
On pensait que son emplacement stratégique principal faciliterait la lutte contre le buda et les ravageurs, en cas de soulèvement à l'avenir.
Les forces ont été stationnées dans le château jusqu'en 1897. Les forces soviétiques ont à nouveau utilisé le château pour contrôler la ville pendant la révolution hongroise de 1956, et les chars qui s'y trouvaient ont également été tirés sur la ville.
