Il castello era formato da un insieme di edifici costruiti in periodi diversi ; già dal XVI secolo era conosciuta come una fortezza indistruttibile.
Il Torrione rappresentava la parte più maestosa: fatto costruire da Giovanni Francesco II  Pico alla fine del ?400, esso era raggiungibile solamente attraverso un ponte levatoio.
La reggia si abbellì nel corso degli anni di opere d'arte, prime tra tutte 10 tavole del ferrarese Cosmè Tura che purtroppo non sono giunte fino ai giorni nostri.
Nel 1524 Giovan Francesco II , fratello di Giovanni Pico, fece ricavare dal fossato del castello un' ?isola giardino', dove i fratelli, entrambi amanti della filosofia e della cultura, erano soliti trascorrere il loro tempo libero dedicandosi alla meditazione. Successivamente l'isola verrà sacrificata per l'edificazione del bastione.
Nel seicento Alessandro I fece ampliare la fortezza costruendo due nuovi settori che andarono a formare un nuovo palazzo ducale che fu arricchito con ulteriori opere artistiche, parte delle quali fu trasferita al Palazzo ducale di Mantova, dove è possibile ancora ammirarle, mentre un'altra parte è perduta.
Alessandro II aggiunse al complesso la Galleria Nuova, un enorme edificio con grandi arcate e con magnifici affreschi di Biagio Falceri. Al suo interno vennero posizionate numerosi quadri, acquistati a Verona nel 1688.
Nel Settecento il Castello aveva raggiunto il suo massimo splendore ed anche la sua massima ampiezza: circondato da un fossato, a forma di quadrilatero, era simile ad una città dentro al città, con le residenze ducali, i magazzini, le cantine, i giardini, il pozzo, il mulino.
Il torrione ed altre tre torri chiudevano il grande quadrilatero.
Purtroppo una serie di eventi a partire dal secondo decennio del Settecento causarono un lento declino nonché la  distruzione di parte del complesso. 
Nel 1714 un fulmine colpì la polveriera provocando uno scoppio con il conseguente crollo del Torrione e di parte degli edifici circostanti. Il torrione attuale fu ricostruito nel Novecento in stile neogotico.
Tra il 1878 ed il 1896 l'Amministrazione Comunale per dare lavoro ai numerosi disoccupati fece loro distruggere le mura cittadine ed anche l'unica torre rimasta, nei pressi della piazza centrale.
Recentemente la reggia è stata ristrutturata ed ospita un museo civico, mostre fotografiche, sale convegni, è divenuto insomma un importante centro culturale ed artistico della città.