Πάνω σε έναν λόφο, κοντά στο χωριό του Αγίου Ματθαίου, δεσπόζουν τα απομεινάρια του κάστρου του Γαρδικίου, ενός οκτάγωνου βυζαντινού κάστρου, με οκτώ πύργους και τρεις πύλες, που είχε φτιαχτεί τον 13ο αιώνα για να προστατεύει τους κατοίκους του χωριού Ζυγωνός, που υπήρχε τότε στην εύφορη πεδιάδα της ευρύτερης περιοχής. Ούτε εκείνοι όμως ούτε και το χωριό μπόρεσαν να σωθούν από την επιδρομή του Χαιρεντίν Μπαρμπαρόσα, που τον 16ο αιώνα λεηλάτησε ολόκληρο το νησί! (Το χωριό Ζυγωνός ξαναχτίστηκε τον 16ο αιώνα σε ψηλότερο και πιο δυσπρόσιτο σημείο, υπό την ονομασία Άγιος Ματθαίος!)