L’iniziativa di costruire il castello fu presa da re Ferrante d’Aragona per fermare l’avanzata dei castrovillaresi. L’opera non venne portata a termine o per la mancanza di fondi o per le necessità della guerra contro i Baroni del Regno.
Durante le lotte, il potere cadde in mano a Girolamo Sanseverino. Nel 1485, le truppe aragonesi attraversarono uno squarcio aperto nelle mura, dal che, il quartiere venne chiamato "Murorotto". Lo stesso quartiere venne anche detto "Porta della catena" o del "castello".
Il 17 gennaio del 1487, Ferrante nominò Loisetto de Summa governatore a guerra e a giustizia di Castrovillari. Gli venne ordinato nello stesso tempo di proseguire alla costruzione del castello mediante la mano d’opera dei cittadini.
La fortezza è situata più in basso rispetto alla cittadina moderna. All’interno si presenta a forma di rettangolo, ma all’esterno acquista una forma trapezoidale considerando le 4 torri angolari, cilindriche di varia grandezza. Le quattro torri angolari sono uguali in qualche particolare, ma diverse nell’aspetto e nelle proporzioni. Sono orientate quasi con precisione verso i punti cardinali. Le parti angolari si arrotondano in quattro torrioni. Tutto l’edificio è decorato da un lungo cingolo di cornice di pietra che attenua l’aspetto severo, mentre la torre più grande, è decorata da archetti pensili, profondi e snelli, correnti tra due agili cingoli di pietra che le danno una meravigliosa armonia architettonica. Ben conservate le feritoie e qualche caditoia da dove buttavano sassi e materie infuocate sugli assalitori. Tutti i castelli Aragonesi avevano le stesse somiglianze. Allo stato delle conoscenze e dei pochi documenti esistenti. Sono stati ritrovati pochi documenti, quindi non si può stabilire in quale data siano iniziati i lavori per costruire il castello, quando siano stati sospesi e fino a quale punto siano arrivati.
Un marmo murato al di sopra del rimaneggiato portale d’ingresso, presenta, in bei caratteri lapidari della fine del XV sec., la seguente inscrizione:

La stessa data del 1490 chiude le iscrizioni si castelli di Belvedere M. Corigliano Calabro e Pizzo Calabro, i primi due completamente rinnovati e l’ultimo costruito con quello di Castrovillari da Ferdinando I per meglio vigilare posti strategici della Calabria.
Castrovillari, infatti, veniva considerata città di grande importanza; così come erano reputate le località di Corigliano, di Belvedere e di Pizzo: e specialmente queste ultime due, sulle rive del Tirreno, a guardia e tutela della via di mare che raggiungeva Napoli. Questi quattro castelli Calabresi non furono portati a compimento nello stesso anno, ma le inscrizioni vennero concluse con la data 1490, per esaltare il tempo della maggiore potenza e tranquillità del regno di Ferdinando I.
Il castello fu quasi sempre teatro di martirio e di dolore per gli orribili misfatti che vi consumarono. I condannati venivano buttati a marcire nelle tetre e umide torri e dei fossati e chi riusciva a sopravvivere, si muoveva su cadaveri putrefatti. Non a caso fu definito cimitero dei vivi e la torre più grande detta "infame".

Castello Aragonese
Castrovillari (Cosenza)