Τα ερείπια του φρουρίου των Σφακίων βρίσκονται στη βόρεια πλευρά του οικισμού, πάνω στο λόφο Καστέλι, δίπλα στο μικρό πευκόδασος. Το φρούριο ήταν το τελευταίο που έχτισαν οι Ενετοί στην Κρήτη. Η ανέγερση του ξεκίνησε τον 15^ο με 16^ο αιώνα, πάνω στα ερείπια βυζαντινού φρουρίου.

Το φρούριο υπέστη σοβαρές ζημιές με την σύρραξη που ξεκίνησε μεταξύ Σφακιανών και Ενετών με αφορμή μια «Χρυσομαλλούσα». Ένας ιππότης του φρουρίου συνάντησε μια όμορφη κοπέλα και μαγεμένος από την ομορφιά της την φίλησε, εκείνη εξοργισμένη τον χαστούκισε. Ο ιππότης έβγαλε το σπαθί του και της έκοψε τα μαλλιά. Όταν η οικογένεια της κοπέλας ενημερώθηκε για το περιστατικό σκότωσαν την φρουρά του κάστρου και κατέστρεψαν το φρούριο.

Όταν ήρθαν οι Τούρκοι προσπάθησαν να αποκαταστήσουν τις ζημιές και να το ανακαινίσουν όμως οι Σφακιανοί κάθε βράδυ πήγαιναν και το γκρέμιζαν.