Założenie Trok jako miasta historycy odnoszą do pierwszej poł.XIVw. Stare kroniki karaimskie podają jednak datę o wiele wcześniejszą mianowicie XIIw. Rozwój miasta uzależniony był od jego położenia geograficznego oraz strategicznego znaczenia tego miejsca. Już od początku miasto nie było jednolite, rozbudowywało się w dwóch kierunkach: część miasta formowała się na południowy zachód za zamkiem na półwyspie, druga – na południu wyspy. Oddalone od siebie części miasta łączyła droga (dziś: ul. Bernardyńska). Pomimo niedogodnych dla rozwoju miasta warunków (najazdy krzyżaków, walki książąt litewskich o władzę), w k. XIVw. miasto stało się ważnym ośrodkiem politycznym, administracyjnym i gospodarczym Litwy. Pierwszą wiadomość historyczną o Nowych Trokach znajdujemy w opisie francuskiego rycerza Gilberta de Lannoy z 1413r., który mówi:

(…) Troki, bardzo duże miasto na Litwie, licho zabudowane domami samemi drewnianemi i wcale niezamkinęte. A są tam dwa zamki, z których jeden jest wielce stary, zrobiony całkiem z drzewa i wałów ziemnych, darnią okładanych. A jest ten stary zamek położony na brzegu jeziora, ale z drugiej strony na otwartej ziemi. A inny zamek jest pośrodku innego jeziora, o wystrzał działa ze starego zamku, a ten jest całkiem nowy zrobiony z cegieł na sposób francuski.

W 1348r. w południowej części miasta zbudowana została cerkiew staroobrzędowa, w roku 1418 wzniesiono jeszcze jedną cerkiew, a w 1424r. (naprzeciw zamku na półwyspie) – trzecią. W XVw. w północnej części miasta wzniesiono karaimskąkinesę, na południe od mostu – meczet tatarski. W 1409r. Trokom nadano prawa magdeburskie. W pierwszej poł. XVw. wzniesiony był ratusz, który spłonął w 1582r. W 1409r. Wielki Książę Litewski Witold stał się fundatorem kościoła pod wezwaniem Nawiedzenia Najświętszej Marii Panny. Przy kościele została założona parafia, a przy niej działała szkółka parafialna. Z pierwotnej budowli zachowało się do dziś tylko gotyckie prezbiterium. W XVII i XVIIIw. w. kościół rozbudowywano oraz dokonywano różnego rodzaju przeróbek, w wyniku czego kościół stracił swój gotycki charakter i stanowi dziś budowlę barokową. Wielką wartość ma zdobiący ołtarz kościoła cudowny obraz Najświętszej Marii Panny z Dzieciątkiem Jezus, w stylu bizantyjskim, malowany na blasze miedzianej. Zgodnie z tradycją uważa się, że obraz ten Witold otrzymał w dniu swego chrztu (1390r.) w darze od cesarza bizantyjskiego Manuela II Paleologa. Niegdyś Matkę Boską zdobiła srebrna szata, którą po konserwacji obrazu w 1993r. zdjęto i obecnie przechowywana jest za prezbiterium. Od 1603r. odbywały się w Trokach słynne odpusty maryjne. 4 września 1718 roku w niezwykle uroczystej atmosferze odbyła się koronacja obrazu. Matka Boska Trocka została ukoronowana przysłaną przez papieża złotą koroną i uznano ją za patronkę Litwy. Było to wydarzenie niezwykłej wagi – koronacja Matki Boskiej Trockiej była drugą w dziejach Rzeczpospolitej Obojga Narodów (w 1717r. koronowano Matkę .Boską Częstochowską) i pierwszą na Litwie. Dopiero po upływie 209 lat, w 1927r. ukoronowany był obraz Matki Boskiej Ostrobramskiej.

W 1688r. kanclerz Wielkiego Księstwa Litewskiego M.Ogiński sprowadził do Trok dominikanów i oddał im część terytorium należącego do zamku na półwyspie. W 1779r. zakonnicy zaczęli budować tu murowany kościół, jednak do XIXw. budowy nie ukończyli. W 1822r. jedną nawę kościoła przebudowują na kaplicę, w drugiej zaś urządzili klasztor. W końcu XV i na pocz. XVI wieku rozwój miasta nie był zbyt intensywny, w celu zmiany zaistniałej sytuacji władcy WKL w latach 1492,1503,1507,1516 nadawali miastu i jego mieszkańcom liczne przywileje. Szczególną opieką otaczał Troki wielki książę Witold. Na zaproszenie księcia do Trok przybywali liczni rzemieślnicy, zakładali tu swoje pracownie, wznosili domy mieszkalne, co sprzyjało rozwojowi gospodarczemu i kulturalnemu miasta. W końcu XVIw. Troki utraciły swą dawną świetność, a podczas najazdu Moskwy zostały zupełnie zdewastowane. Obecnie Troki przeżywają swój renesans. Wznoszone w ciągu wieków budowle sakralne różnych wyznań: kościoły, cerkwie, kinesa, meczet – są świadectwem tego, że miasto zamieszkiwali ludzie różnych narodowości i wyznań, miało ono wielonarodowy i wielokulturowy charakter. W końcu XIVw. Wielki Książę Litewski Witold sprowadził na Litwę z Krymu, gdzie prowadził walki ze Złotą Ordą (w latach 1397-1398) czterysta rodzin Karaimów i Tatarów jako jeńców wojennych. Po przybyciu do Trok Karaimi rozlokowali się na niezabudowanym północnym krańcu wyspy. Chorągiew karaimska pełniła służbę w charakterze gwardii przybocznej przy wielkich książętach litewskich na zamku w Trokach. W 1441r. Kazimierz Jagiellończyk nadał Karaimom prawa magdeburskie, które były potwierdzone w 1492r. i 1503r. Zapewniały one Karaimom prawo do niezależności, samodzielność samorządu oraz zwalniały od podatków. Karaimi do dziś mieszkają w Trokach w skromnych drewnianych domkach, których cechą charakterystyczną są trzy okna od ulicy: jedno dla Boga, drugie dla Witolda, trzecie dla domowników. Zachowali swój język, wiarę i tradycje. Karaimi wywodzą się z Chazarów, język karaimski należy do kipczackiej grupy języków tureckich. Są wyznawcami karaizmu – odłam judaizmu, który wyodrębnił się w VIIIw. wśród Żydów mieszkających w Mezopotamii (Irak), uznający wyłącznie Stary Testament, bez późniejszych komentarzy i tłumaczeń. Świątynią karaimską jest kinesa. Wnętrze świątyni zdobią ornamenty roślinne i geometryczne, nie ma tu wizerunków przedstawiających ludzi. Podłoga wyściełana jest dywanami. Mężczyźni modlą się na dole, kobiety zaś na piętrze. Karaimi pielęgnują swoje tradycje, m.in. narodową kuchnię. Kiedyś słynęli ze sztuki solenia ogórków, specjałem kuchni karaimskiej są kibiny (są to pierożki nadziewane siekanym mięsem i pieczone w piekarniku).