Chaumont domine la Loire de sa lourde silhouette qui évoque plus les volumes d'un château fort que la demeure de plaisance.
Malgré son apparente unité architecturale et son aspect médiéval, le château ne fut achevé qu'au XVIIIème siècle.
La seigneurie appartenait depuis le XIIème siècle à la famille d'Amboise qui devint l'une des plus importantes du royaume à la fin du XVème siècle.
La reconstruction totale de la vieille forteresse fut probablement décidée en 1466 par l'évêque Pierre d'Amboise, frère du célèbre cardinal Georges d'Amboise.
À partir de 1473, Charles Ier d'Amboise poursuivit les travaux qui s'interrompirent à sa mort en 1481, son héritier, Charles II, n'étant âgé que de huit ans.
À la mort de Charles Ier, plusieurs bâtiments s'organisaient autour d'une cour carrée d'une trentaine de mètres de côté : l'aile nord sur la Loire qui n'existe plus aujourd'hui, la tour nord-ouest et l'aile ouest terminée par la puissante tour sud-ouest en forte saillie. Dotée de murs épais et pourvue de canonnières, cette tour a valeur de "donjon", en cas de danger on peut s'y réfugier et l'isoler du reste du château, selon un système identique à celui du Plessis-Bourré.
C'est le seul endroit véritablement fortifié du château, avec des murs beaucoup plus épais qu'ailleurs.
À la fin du XVème siècle, le chantier redémarre sous la direction de Charles II d'Amboise qui édifie en même temps le château de Meillant dans le Berry.
Reprenant les travaux à partir de l'angle nord-est, il élève la chapelle, l'aile est, le châtelet d'entrée puis commence l'aile sud.
Sa mort, en 1511, l'empêche d'élever l'étage de l'aile sud destiné à abriter une galerie reliant les parties est et ouest du château.
La partie haute du grand escalier dans la cour et celle des tours du châtelet d'entrée restent inachevées.
Charles II d'Amboise adopte le même parti architectural que ses prédécesseurs. Il conserve au château son aspect de forteresse et n'introduit pas d'élément Renaissance dans la construction. Ce choix est d'autant plus remarquable qu'au même moment Georges d'Amboise fait reconstruire Gaillon, en Normandie, le plus fastueux exemple de la toute première Renaissance française.
S'il veut préserver l'unité architecturale de Chaumont, avec son aspect fortifié, Charles II apporte une touche personnelle en couronnant les parties hautes d'un chemin de ronde découvert, contrairement au parti adopté par Pierre d'Amboise trente ans plus tôt. Il inscrit donc Chaumont dans la lignée de l'architecture merveilleuse des enluminures des Très Riches Heures du duc de Berry.
Pour compléter le décor crénelé des parties hautes, il ajoute une frise qui fait alterner les C de Charles et de son épouse Catherine de Chauvigny avec un mont enflammé, image parlante de Chaumont.
Après la mort du roi Henri II, Catherine de Médicis achète Chaumont et oblige aussitôt Diane de Poitiers à l'accepter en échange de Chenonceau.
L'ancienne favorite doit abandonner le cadre enchanteur de Chenonceau et son projet de galerie sur le Cher, pour s'installer dans un château beaucoup plus austère.
Diane de Poitiers reprend les travaux interrompus à la mort de Charles II.
Elle termine le châtelet d'entrée d'un chemin de ronde couvert, et refait dans le même esprit celui de la tour nord-est.
Elle renforce donc le caractère militaire du château et revient au parti adopté par Pierre d'Amboise un siècle plus tôt.
Elle meurt en 1566 sans avoir le temps de terminer l'aile sud, interrompue depuis la mort de Charles II.
Il faut attendre le XVIIIème siècle pour que cette aile soit enfin construite.
À la même époque, on démolit l'aile nord sur la Loire pour ouvrir le château et dégager la vue.
Les appartements historiques sont meublés et décorés dans les styles des XVème et XVIème siècles (salle des Gardes, chambre dite de Diane de Poitiers, salle du Conseil, chambre dite de Catherine de Médicis, chapelle, salle de la tour Saint-Nicolas).

De nos jours, le parc du château abrite chaque année, de la mi-juin à la mi-octobre, le Festival International des Jardins permettant à une vingtaine d'artistes et de paysagistes venus du monde entier de réaliser des jardins thématiques.
La beauté de l'ensemble atteint son apogée en automne.