Τα τείχη της πόλεως της Καστοριάς, αποτελούν πια ένα απομεινάρι του οχυρωτικού της συστήματος. Σε αρκετά μέρη μέσα στην πόλη διατηρούνται αλλοιωμένα κάποια τμήματα. Παλαιότερα ωστόσο, μέχρι και τα χρόνια του Β’ Παγκοσμίου Πολέμου διατηρούνταν σε καλύτερη κατάσταση. Η χρονολόγηση των τειχών δεν είναι εύκολη υπόθεση, αρκετοί όμως από τους μελετητές τοποθετούν την κατασκευή τους στην εποχή του αυτοκράτορα Ιουστινιανού.
Τα τείχη της Καστοριάς, όπως διατηρούνται σήμερα, ιδίως οι ημικυκλικοί πύργοι και ιδιαίτερα ο ένας (από τους δύο που πρέπει να υπήρχαν) και που ανήκε στον πυλώνα, τον μοναδικό της πόλεως, στην παλιά Ψαραγορά, αποτελούν χαρακτηριστικό δείγμα οχυρωτικής του 9ου-10ου αι.
Η κεντρική πύλη, η ονομαζόμενη στην τουρκοκρατία "Εξώπορτα" ή "Μεγάλη Πόρτα", βρισκόταν στην εδαφική έξαρση της πλατείας Δαβάκη ενώ οι δύο άλλες πύλες των τειχών του λαιμού βρίσκονταν η μία μπροστά ακριβώς από το σημερινό Δημαρχείο και η άλλη στα νότια του σωζόμενου τουρκικού μενδρεσέ.