Datant de l'origine de l'âge du bronze, le château contient l'église des Saints Serge et Bakou, l'appartement Tang Yurji Guru, l'église de Tous les Saints et une ancienne tour.
Le château a été utilisé par de nombreuses figures historiques telles que l'empereur Justinien, et il a été détruit et reconstruit plusieurs fois.
Les murs médiévaux sont toujours debout, et l'ensemble du site fait une visite intéressante de l'histoire albanaise.