Au XIIIe siècle, le "Chastel de Saint-Victor sur Loire" est l’ensemble du bourg fortifié avec son château et ses remparts, dominant les vallées de la Loire et du Lizeron. La fortification flanquée de deux tours, l’une côté vent,l’autre côté bise, demeure seigneuriale au XVIe et XVIIe siècle avec la famille De Nérestang et autres propriétaires, puis prison en des temps difficiles.