Στο λόφο Φορτέτζα, νότια της Παλαιόχωρας Χανίων, βρίσκονται τα ερείπια του φρουρίου της Σελίνου. Το φρούριο της Σελίνου ήταν ένα περίπου ορθογώνιο φρούριο, όπως της Ιεράπετρας, του Μεραμβέλου και του Φραγκοκάστελου, με μόνη διαφορά την προεξοχή του τείχους στην βορειοδυτική πλευρά λόγο του απότομου εδάφους. Στο εσωτερικό του υπήρχαν διώροφα κτήρια ενώ στις γωνίες των εξωτερικών τοιχίων υπήρχαν πύργοι. Στις ανασκαφές ανακαλύφθηκε πλήθος μικρών αντικειμένων, κυρίως κεραμικών, καθώς και ένας τοιχογραφημένος ναός.

Σκοπός της ανέγερσης του φρουρίου ήταν ο έλεγχος των ανυπότακτων περίοικων και του θαλάσσιου δρόμου προς την Αφρική. Το φρούριο κτίστηκε το 1279, καταστράφηκε από επαναστάτες και ξαναχτίστηκε το 1325. Το 1539 πολιορκήθηκε από τον κουρσάρο Χαϊρεντίν Μπαρμπαρόσσα. Εκτεταμένες επισκευές έγιναν και το 1595. Κατελήφθη από τους Τούρκους το 1653 και στη συνέχεια εγκαταλείφθηκε και ερειπώθηκε. Μόλις το 1867, στο πλαίσιο κατασκευής ενός φρουρίων για τον έλεγχο τη από τον τουρκικό στρατό, κατασκευάστηκε ένα μάλλον ασήμαντο οχύρωμα πάνω στα θεμέλια του παλιού. Ο χώρος χρησιμοποιήθηκε για αμυντικούς σκοπούς και κατά τη γερμανική κατοχή.