Ce monument se compose d'une seule tour et d'un mur, et est appelé dans de nombreux guides la tour vénitienne. Il remonte à l'an 400, sous le règne de l'empereur byzantin Anastase I qui est né dans cette ville.
Depuis sa construction, le château de Doris a subi de sérieuses mesures, après que les Vénitiens l'ont renforcé avant que les Ottomans n'occupent la ville.
En 1939, le château était la base du groupe Raght de patriotes albanais essayant de retarder les progrès de l'armée italienne.
