Azay s'élève à l'extrémité d'une île de l'Indre, à l'emplacement d'un ancien château féodal.
Au XVème siècle, la famille Berthelot acquiert peu à peu les terres de la seigneurie d'Azay et, dans les années 1510, Gilles Berthelot, contrôleur général des finances et trésorier de France, décide la construction d'un château neuf. Les comptes nous apprennent qu'en son absence, son épouse Philippe Lesbahy dirige le chantier, comme Catherine Briçonnet à Chenonceau. Les travaux s'arrêtent en 1528 lorsque Gilles Berthelot, compromis dans une affaire de "fraudes, faultes et abus commis sur le faict des finances royales", est contraint de prendre la fuite pour échapper à la justice royale. Le château reste inachevé.
À cette date, deux ailes ont été construites. Le corps de logis principal occupe le fond de la cour, au sud. L'aile en retour, à l'ouest, mène au jardin par un passage voûté percé en son centre.
Le projet initial prévoyait sans doute une seconde aile en retour, à l'est, quin'a pas été construite. Toutefois, lorsque Gilles Berthelot prend la fuite, le château n'a pas sa configuration actuelle car des bâtiments de l'ensemble médiéval subsistent à l'est et au nord, dans l'attente d'être remplacés par des ailes Renaissance. Ces parties anciennes sont détruites plus tardivement, à la fin du XVIIème ou au début du XVIIIème siècle.
Au XIXème siècle, les Biencourt, propriétaires du château, ajoutent une tourelle à l'extrémité du corps de logis principal, pour faire pendant à la tour placée à l'extrémité de l'aile ouest qu'ils transforment en tour "Renaissance". Conduite dans un souci d'unité, cette restauration résulte d'une mauvaise compréhension du projet de Gilles Berthelot.
La tour médiévale de l'aile ouest, vestige d'un ancien château, a valeur symbolique de "donjon". Avec les fortifications de fantaisie et les meurtrières qui n'ont jamais été conçues pour servir, elle fait partie des signes traditionnels du château fort et affirme le pouvoir et la noblesse du commanditaire, qui, comme à Chenonceau, est un homme nouveau.
Si l'aspect général d'Azay demeure traditionnel, l'ordonnance des façades témoigne d'un souci de régularité propre à la nouvelle architecture de qualité, qui transparaît en particulier dans la dispositions des ouvertures. Le grand escalier qui dessert le logis est le trait de génie d'Azay. Il réalise la synthèse entre deux formules a priori incompatibles, celle de l'escalier rampe-sur-rampe dans-oeuvre utilisée en Italie, et celle de la vis hors-oeuvre à laquelle l'imaginaire français est si fortement attaché.
Le constructeur d'Azay adopte le système de l'escalier rampe-sur-rampe dans-oeuvre mais il l'adapte complètement aux préoccupations françaises. L'escalier constitue l'entrée principale du château, il occupe le centre du corps de logis, alors qu'en Italie il est généralement dissimulé dans une aile, et il domine la cour de sa haute façade ouverte de loggias et couronnée d'une lucame monumentale. Ses baies ne sont pas placées au même niveau que celles de la façade et cette rupture architecturale affirme plus encore la présence de l'escalier dans le logis, en même temps qu'elle résout de façon heureuse le délicat problème de l'éclairage.
Tout concourt à signaler l'escalier dans la façade : malgré son parti novateur l'escalier d'Azay évoque le volume d'une vis.
À l'intérieur, les voléessont couvertes de voûtes plates à caissons inspirées de l'Italie mais portées par des arcs-diaphragmes qui en fragmentent la surface et qui développent le décor en hauteur dans un esprit très gothique.
La porte qui ouvre sur le passage menant au jardin, au centre de l'aile ouest sur cour, fait preuve d'une même richesse d'invention. Entourée d'un cadre mouluré qui suggère un chambranle, elle est surmontée d'un fronton double, le premier en forme de trapèze curviligne, le second, triangulaire, avec des putti juchés sur les rosettes latérales.
Ce couronnement associe un répertoire propre à la première Renaissance française - le trapèze curviligne dont le château de Bury a lancé la mode -, et un motif italien - le fronton triangulaire.