Chalencon était au moyen age le carrefour entre les routes du Velay et celles du Forez. Le village prospéra donc et une puissante forteresse y fut érigée dés le Xe siècle. Un donjon rond, une enceinte carré, et une chapelle, elle appartenait aux riches seigneurs de Chalencon, alliés de la famille de Polignac.