Najstarszą częścią fortyfikacji w Wilnie był zamek złożony z dwóch obwarowanych części: górnej – pełniącej funkcję cytadeli i arsenału oraz dolnej – rezydencji wielkoksiążęcej i królewskiej.

Na miejscu pierwotnego przedhistorycznego grodziska, a później drewnianego zamku książąt litewskich na wysokiej górze stanął zamek tzw. górny w murowanej postaci. Budowa zamku została ukończona w 1419 roku za czasów władania Wielkiego Księcia Witolda. Składały się na niego wówczas mur obronny z trzema basztami, budynek mieszkalny oraz zespól wjazdowy (wiodący od strony północy). W budynkach mieszkalnych zamku górnego, będącego jedynie fortem obronnym, nie mieściła się nigdy rezydencja książąt i królów, na co przeznaczony był zamek dolny, położony u stóp góry w sąsiedztwie dzisiejszej katedry.

Zabudowania zamku dolnego, rozłożyste i wspaniale, ciągnęły się aż do Wilii między ul. Arsenalską a Górą Zamkową. Powołany na stolec wielkoksiążęcy w 1440 r. Kazimierz Jagiellończyk przebudowuje ( spalony podczas wojen z krzyżakami i odbudowany w 1419r. przez Witolda) dolny zamek. Gwałtowny pożar w 1610r. strawił prawie całe miasto i nie oszczędził zamku królewskiego, w płomieniach którego omal nie zginęła królowa Konstancja z maleńkim Janem Kazimierzem na ręku. Ciosem brutalnym dla odbudowanego ponownie zamku dolnego było zdobycie Wilna przez wojska moskiewskie. Zamek dolny został doszczętnie spalony, w latach 1799-1803 ruiny zamku zburzono do fundamentów. Dopiero po upływie wielu wieków decyzją rządu niepodległej Republiki Litewskiej rozpoczęto odbudowę dawnej rezydencji królów i książąt.

W murach zamku górnego, prawdopodobnie podczas przebudowy zamku dolnego, król Zygmunt August przechowywał swój przebogaty księgozbiór. Za czasów Aleksandra Jagiellończyka mieściła się tu zbrojownia i ludwisarnia.

Budynek i mury obronne do końca istnienia zamku zachowały się prawie całkowicie nie zmienione. Ucierpiały natomiast baszty: południowa, a zwłaszcza zachodnia. Prawdopodobnie przebudowane zostały w XVI wieku, kiedy nadany im został charakter wież artyleryjskich. Podczas najazdu Moskwy w 1655 r. zamek górny stał się ofiarą oblężenia i bombardowania, w taki to sposób próbowano wypędzić zamkniętych w nim kozaków. Po najeździe Szwedów Polska nie podjęła się odbudowy zamków, które nie sprawdziły się jako twierdze obronne wobec nowej sztuki i techniki oblężniczej. W XVIII wieku zburzone zostały doszczętnie baszty zamku, oprócz baszty południowo-zachodniej, z której pozostały tylko dolne piętra (3 kondygnacje). Właśnie ta baszta zachowała się do dziś i zwana jest Wieżą Giedymina. Na początku XIX wieku Rosjanie otoczyli całą górę murami czyniąc z niej cytadelę. W 1830 roku na baszcie ustawiono drewnianą nadbudówkę w stylu rosyjskim i zainstalowano telegraf optyczny.