Drugi zamek położony jest na wyspie jeziora Galwie. Murowany, potężny zamek gotycki został wzniesiony w na pocz. XVw. przez Witolda. Zamek właściwy, założony na planie prostokąta, składa się z dwóch ustawionych równolegle budynków mieszkalnych, między którymi znajdował się niewielki, wąski dziedziniec, zamknięty od strony wjazdu wysoką (ok. 34m), pięciokondygnacyjną wieżą, mieszczącą w przyziemiu przejazd bramny ze sklepieniem krzyżowo-żebrowym, na wyższych kondygnacjach znajdowały się pomieszczenia mieszkalne i obronne. Skrzydła mieszkalne o trzech kondygnacjach miały część pomieszczeń sklepionych, m.in. reprezentacyjną wielką salę (10x21m, wys.5.5m) na pierwszym piętrze prawego skrzydła, z pięknym sklepieniem gwiaździstym. Wnętrza ozdobione były polichromią o tematyce świeckiej. Ta pałacowa część zamku, otoczona własnym murem obronnym, oddzielona była od podzamcza fosą przez którą wiódł most, na odcinku przybranym zwodzony. Przedzamcze rozciągało się od strony południowo-zachodniej i założone było na nieregularnym planie trapezoidalnym.

Obszerny majdan otaczały mury obronne z trzema basztami na narożach, kwadratowymi u dołu i okrągłymi na górnych piętrach, wyposażonymi w strzelnice, nieco później zostały powiększone i dostosowane do broni artyleryjskiej, od strony południowej znajdowała się wieża bramna. Do murów od strony dziedzińca przylegały kazamaty dla załogi i zabudowania gospodarcze. Zamek wzniesiony został z kamienia polnego i cegły, w części pałacowej jako elementy dekoracyjne zastosowano fiyzy z ukośnie układanych cegieł oraz kształtek cegieł w obramieniach okien i drzwi. W XV w. ustały nękające najazdy krzyżackie. W trockiej rezydencji chętnie przebywali wielcy książęta litewscy królowie Polski, w 1477 r. zamek stracił znaczenie po zniszczeniu przez wojska moskiewskie w 1655 r. i nie podniósł się już z ruin. Prace badawcze i konserwatorskie podejmowane były od 1904 r., następnie w latach 1929-1931 (pod kierownictwem prof. S. Lorentza), 1936-1940 i po II wojnie światowej w latach 1951 -1956 doprowadziły one do prawie pełnej rekonstrukcji zespołu architektonicznego. Obecnie w zamku mieści się Muzeum Historyczne,w którym są bogate zbiory ilustrujące życie polityczne, kulturalne, społeczno obyczajowe Wielkiego Księstwa Litewskiego.