Le premier château médiéval d’Azay-le-Rideau fut construit aux alentours de 1119 par l’un des premiers seigneurs du lieu, Ridel (ou Rideau) d’Azay, qui fit construire une forteresse afin de protéger la route de Tours à Chinon.
En 1418, la forteresse d’Azay fut brûlée par Charles VII, provoqué par les troupes bourguignonnes qui occupaient la place. Le capitaine et 350 de ses soldats furent exécutés. En souvenir de ce tragique événement, le village garda le nom d’Azay-le-Brûlé jusqu’au XVIIIe siècle.
Le domaine est acheté à la fin du XVe siècle par Martin Berthelot, maître de la Chambre aux Deniers du roi.
Le château sous sa forme actuelle, chef-d’œuvre de la première Renaissance française, fut construit entre 1518 et 1523 par Gilles Berthelot, maire de Tours et trésorier du roi François Ier.
En 1528, François Ier confisqua le château l’offrit en 1535 à l’un de ses compagnons d’armes à Pavie, Antoine Poton de Raffin de Pelcavary, capitaine de ses gardes du corps. 
Louis XIII aurait été reçu au château en juin 1619 par son nouveau propriétaire, Henri de Beringhen, seigneur d’Armainvilliers et de Grez (en Seine-et-Marne).
Son fils, Jacques-Louis (Ier) de Beringhen, reçut Louis XIV à Azay. Il fit construire les communs actuels.

En 1791, le château d’Azay-le-Rideau, abandonné et dégradé fut vendu au marquis Charles de Biencourt, page des écuries de la Reine, maréchal des camps et armées royales, député de la Noblesse aux États Généraux de 1789, puis à la Constituante. Il lui donna son aspect actuel en effectuant de nombreuses modifications intérieures et extérieures. Cette famille le conservera jusqu’à la fin du XIXe siècle.

L’État devint propriétaire du château d’Azay-le-Rideau et une partie du parc en août 1905. L’ensemble fut immédiatement classé Monument Historique puis y fut créé un « musée national de l’art de la Renaissance ».

En 1939-1940, le château abrita la Direction Générale de l’Éducation Nationale.
De nos jours, le château d’Azay-le-Rideau est géré par le Centre des Monuments Nationaux.