Stavba patrí medzi tzv. kastelové hrady; pravidelný obdĺžnikový pôdorys má štyri dvojpodlažné krídla zoskupené okolo ústredného nádvoria. Palác bol rozčlenený dvojicou veží na západnej strane a kaplnkou, ktorá na východnej strane prevyšovala obytné krídlo. Celý komplex uzatvárala obvodová hradba. Vstup do hradu – orientovaný k mestu – viedol cez prejazd do nádvoria. Prízemie hradu slúžilo prevažne na hospodárske a skladovacie účely. Obytné a reprezentačné priestory boli sústredené na prvom poschodí okolo objektu hradnej kaplnky.
Na prelome 15. a 16. storočia bol hrad prvýkrát prestavaný. Vtedy vybudovali nové vonkajšie opevnenie s vežovou vstupnou bránou a nárožnými baštami a tiež bola vytvorená maliarska výzdoba kráľovskej dvorany. V 1. polovici 16. storočia sa sa v dôsledku ohrozenia z Osmanskej ríše pristúpilo k renesančnej prestavbe zámku. Od roku 1575 tu sídlila stála vojenská posádka na čele so zvolenskými županmi. Počas prestavby bol objekt nadstavený o ďalšie dve podlažia s nárožnými vežičkami a strieľňami po celom obvode vonkajších stien a veľkou strieľňou pre delá na severnej fasáde. Turci však Zvolenský zámok ani mesto nikdy nedobyli.
V 1. polovici 17. storočia sa uskutočnila baroková prestavba, počas ktorej boli reprezentačné siene 1. poschodia prebudované na viacero menších miestností. Ďalšie väčšie zmeny boli vykonané až v 2. polovici 18. storočia. Súvisela s nimi najmä prestavba dvojpodlažnej gotickej kaplnky, ktorá prekryla takmer všetky stopy jej pôvodnej stredovekej podoby.
S úpadkom ťažby drahých kovov v banských mestách a po presídlení župných úradov do Banskej Bystrice (1789) zámok postupne strácal svoj pôvodný význam. V roku 1805 ho vtedajší majitelia Esterházyovci predali štátu a v jeho prázdnych miestnostiach sídlil súd, väznica a sklad tabaku.
Od barokovej prestavby realizovala provizórne opravy zámku až Uhorská pamiatková komisia v rokoch 1894 a 1906. V rokoch 1957 – 1969 sa uskutočnila jeho rozsiahla rekonštrukcia a v roku 1961 bol zaradený do zoznamu národných kultúrnych pamiatok. Od roku 1965 je zámok súčasťou Slovenskej národnej galérie. Metódy jeho rekonštrukcie uprednostňovali zachovanie historicky a výtvarne najhodnotnejších fáz stavby s ťažiskom na obdobia gotiky a renesancie. Vďaka obnoveniu pôvodnej gotickej ochodze získalo nádvorie pôvodnú monumentalitu. V jeho dlažbe sa vyznačením starších základov románskeho kostola uplatnili tiež archeologické nálezy. K renovácii zámockej kaplnky sa pristúpilo až v 90. rokoch 20. storočia. Exteriéru aj interiéru bola vrátená podoba neskorého baroka z 2. polovice 18. storočia so zachovaním fragmentov gotických prvkov vo forme tzv. analytickej prezentácie.
V súčasnosti sú v hlavnej palácovej časti umiestnené expozície a depozitáre SNG, ich ťažisko spočíva na Obrazárni – zbierke európskeho maliarstva 16. – 19. storočia. V zámockej kaplnke sa pravidelne konajú bohoslužobné obrady rôznych konfesií. Priestory však majú aj rozmanité dočasné funkcie: Kráľovská sieň s kazetovým stropom a portrétmi panovníkov je zároveň koncertnou sálou, Rytierska sieň na prízemí severného krídla sa využíva na mestské občianske obrady.
Časová os
14. storočie
V poslednej tretine 14. storočia bol na pokyn uhorského kráľa Ľudovíta z Anjou vybudovaný Zvolenský zámok.
1424
Od roku 1424 slúžil zámok uhorským kráľovnám. Bol to jeden z mála gotických hradov určených predovšetkým na komfortné bývanie s minimálnym strategickým či obranným významom.
prelom 15. a 16. storočia
Počas prvej rekonštrukcie hradu bolo vybudované nové vonkajšie opevnenie s vežovou vstupnou bránou anárožnými baštami, a tiež bola vytvorená maliarska výzdoba kráľovskej dvorany.
1. polovica 16. storočia
V dôsledku ohrozenia z Osmanskej ríše sa pristúpilo k renesančnej prestavbe zámku. Počas prestavby bol objekt nadstavený o ďalšie dve podlažia s nárožnými vežičkami a strieľňami po celom obvode vonkajších stien a veľkou strieľňou pre delá na severnej fasáde.
1575
Zámok sa stal sídlom vojenskej posádky na čele so zvolenskými županmi.
1. polovica 17. storočia
Realizovala sa baroková prestavba zámku, počas ktorej boli reprezentačné siene 1. poschodia prebudované na viacero menších miestností.
polovica 18. storočia
Prestavba dvojpodlažnej gotickej kaplnky, ktorá prekryla takmer všetky stopy jej pôvodnej stredovekej podoby.
1789
S úpadkom ťažby drahých kovov v banských mestách a po presídlení župných úradov do Banskej Bystrice zámok postupne strácal svoj pôvodný význam.
1805
Rodina Esterházyovcov predala zámok štátu a v jeho prázdnych miestnostiach potom sídlili súd, väznica a sklad tabaku.
1894 - 1906
Provizórne opravy zámku realizované Uhorskou pamiatkovou komisiou.
1957 – 1969
Na zámku prebehla rozsiahla rekonštrukcia, ktorej metódy uprednostňovali na zachovanie historicky a výtvarne najhodnotnejších fáz stavby s ťažiskom na obdobia gotiky a renesancie.
1961
Zvolenský zámok bol zaradený do zoznamu národných kultúrnych pamiatok.
1965
Zámok sa stal súčasťou Slovenskej národnej galérie.
