Visegrád hajdani fényét az Anjouknak köszönheti. I. Károly király ugyanis a vár tövében palotát épített s példáját több főur is követte. Ő maga állandóan itt székelt s I. Lajos, bár székhelyét Budára tette át, sokszor időzött falai között. Visegrád valósággal a magyar királyok üdülő, nyaraló-helye volt s 1483-ban, miután Mátyás király ott új palotát épített volt, egy olasz püspök földi paradicsomnak nevezi azt. Oláh Miklós költői lendülettel festi Visegrádot és szavai megérdemlik, hogy azokat e helyre is beiktassuk. A város élén, keletnek, áll a mind gyönyörű fekvésével, mind pompás mivoltával kimondhatatlanul nagyszerű királyi lak, paloták és egyéb valóban fejedelmi épületekkel ékeskedő, miután egy ízben négy királynak s azok szokásos kíséretének egymaga kényelmes szállást adott, lévén benne 350-nél több terem. Kapuja a mintegy 200 ölnyire folyó Dunára nyílik s ez és a város és kapu közötti tér fákkal van beültetve. A túlsó oldalon, keletre a palotától, szőlővel és gyümölcsfákkal kedveskedő kert volt. Belépve a kapun, zöldelő rétvirágokkal elborított tér nyulik el szemeink előtt. Benn, száz és nehány lépésnyire a kaputól, kezdődik a lépcsőzet, négyszögű kövekből, hét vagy nyolcz ölnyi széles s mintegy 40 lépésnyi magas. Itt, a királyi udvar számára tág és nagyszerű boltok, vagy boros pinczék fölött, szintén négyszögű kövekkel borított, négyfelől íveken nyugvó tér (area quadripensitis, terasse) van, beültetve kellő arányokban tavaszszal gyönyörűen illatozó s a szemet gyönyörködtető hársfákkal. Közepén vörös márványból bámulatos művészettel faragott szökőkút lövell ki, a Múzsák képszobraival, melynek tetején Cupido alakja márvány-tömlőn ülve, préseli a szintoly ízletes, mint hideg vizet, mely a közeli hegy forrásából csatornán vezettetve ide, kellemes morajjal hull a csöveken át egy márvány-csészébe s ebből egy kerekded medenczébe. E forrásból ama Corvin Mátyás parancsára – kinek műve mind ez építkezés, a miről beszélek – miután rendesen diadalmakat ült, bor patakzott s mint a régi emberektől hallám, majd piros, majd fehér, a mint föllebb a hegy tövében, mesterségesen bocsátották a csatornákba. E helyt szokott maga a király is, sétálni, a szabadban szellőzni, enni, néha a követeket is kihallgatni s nekik választ adni.
A visegrádi fellegvár, a mint Kottaner Ilonának, a szent korona elrablásában 1440-ben szerepet vivő udvarhölgynek feljegyzéseiből kitűnik, egyenes összeköttetésben volt a királyi palotával, a mi azt a látszatot kelti, hogy a királyi palota 213a Salamon tornyától Bogdány felé eső részen emelkedő s ma is nyári lakkal koszorúzott dombtetőn állott.
A fellegvár egyébként királyi várnagyok parancsnoksága alatt állott, a kik mindenkor fényes állású férfiak voltak s jobbára Pilis vármegye főispáni állását is bírták. A vár tehát Pilismegyének hivatalos középpontja, székhelye is volt.
A vár aljában, azon a helyen, a hol ma Visegrád községe áll, előkelő város fejlődött ki, melynek Nagymaros mintegy expoziturája volt. A város és Nagymaros, mely szintén I. Károly idetelepedésének köszöni keletkezését, körülbelül egyforma kiváltságokkal birt, de előkelőség sorában Visegrád messze kimagaslott, mert a városok közül egyedül él már 1378-ban a piros pecséttel, a középkori előkelőség e megkülönböztető symbolumával. A város beczézgetése annyira ment, hogy sok mentessége utóbb az országnak egyenesen ártalmára volt s azért azokat Ulászló 1498-ban egyszerűen eltörölte.