Le château fut pour la première fois mentionné en 1102. Il contrôlait un pont sur la Loire qui disparut au XIVe siècle.
En 1218, Philippe Auguste y fit bâtir une tour maîtresse.
En 1395, Guy de la Trémoille lance la construction du château actuel, Raymond du Temple (architecte du roi et du duc d'Orléans) en dresse les plans.
Il fut acheté en 1602 par Maximilien de Béthune, le grand Sully, premier duc du nom.
Depuis, le XVIIIe siècle, l'édifice a subi divers changements (transformations, constructions d'un nouveau corps, destructions…).
Le château fut classé aux "monument historique" en 1928 et ouvert au public en 1933. Il fut endommagé lors des bombardements du juin 1940 et d'août 1944.
Le Conseil général du Loiret en est propriétaire depuis 1962.
Il abrite tous les mois de juin un festival international de musique classique.