Rundvisningen i Karostas gamle militærfængsel giver selv den sejeste turist kuldegysninger. Professionelle soldater, nogle af dem sågar tidligere fangevogtere, gelejder de besøgende rundt i de mørke gange. De fortæller forfærdelige historier om, hvordan de indsatte blev behandlet. Der kunne proppes ufattelig mange mennesker ind i en enkelt celle. Adskillige var bag tremmer på grund af forkert politisk anskuelse eller forsøg på desertering. Straffen kunne være et nakkeskud, og man har senere fundet flere massegrave på stedet.
Fængslet blev nedlagt, da de sidste sovjetiske soldater forlod Karosta i maj 1994. I dag kan modige turister sågar overnatte i det. Men forvent ingen luksus i cellerne. For 15 euro kan man få lov til at prøve at sove på en tynd madras overvåget af en fangevogter.
Turisterne skriver i forvejen under på, at de er indforstået med behandling af (næsten) samme slags som de tidligere fanger – både korporligt og mentalt (der er dog ingen, der bliver skudt). Mange skoleklasser kommer på besøg til fængslet, og også de underkaster sig frivilligt fysiske stroppeture for at få en fornemmelse af, hvad fangerne blev udsat for.
Opførelsen af flådebasen Karosta fandt sted fra 1890 til 1906, og tsar Alexander III havde besluttet, at hans nye base, Østersøens største, skulle ligge ved byen Liepaja. Den skulle efterhånden erstatte flådebasen Kronstadt inde i den finske bugt. Liepajas beliggenhed var langt bedre, eftersom hovedformålet var at beskytte det russiske imperium mod faren fra det tyske kejserrige. Desuden var Liepaja, i modsætning til Kronstadt, isfri året rundt.
Til hovedansvarlig for opførelsen af Karosta udnævnte tsaren Ivan Alfred MacDonald (1850-1906). Han har sat sit præg på de mange pompøse murstensbygninger på området. Desuden stod han for udgravningen af en 3,5 kilometer lang og 150-250 meter bred kanal med svingbro. Det inderste af kanalen kunne rumme næsten hele den russiske flåde, heriblandt 96 krigsskibe og et stort antal forsyningsskibe. To lange bølgebrydere og mange fæstningsværker langs kysten indgik i forsvarsanlægget. Fra 1898 bevogtede 30 flådeskibe konstant kanalmundingen, og der blev bygget kaserner for de mange tusinde soldater og paladslignende huse for officererne.
En af de mest bemærkelsesværdige bygninger på Karosta-området er Sankt Niko- laus-katedralen med plads til 1500 personer. Den blev opført til de russiske flådefolk og deres familier. Grundstenen blev lagt i maj 1901. Den 4. juni ankom tsar Nikolaj II med hele sin familie for at velsigne byggeriet. Tsarfamilien vendte tilbage den 23. august 1903 til indvielsen af katedralen.
Da Første Verdenskrig brød ud, blev mange af de hellige genstande evakueret til Rusland, deriblandt kirkeklokkerne og ikonerne. Alt, man ikke nåede at få med, blev plyndret af de tyske okkupanter. I 1920’erne og 1930’erne blev kirken benyttet af de lutheranske soldater på garnisonen i Liepaja.
Mod slutningen af Anden Verdenskrig blev Karosta gjort til hemmeligt område – helt lukket for alle andre end sovjetiske militærfolk. I forbindelse dermed blev katedralen vandaliseret. I dens indre oprettede man sportshal, biograf, diskotek og et såkaldt rødt hjørne (forlystelsesrum for soldaterne). Inderloftet i den store kuppel blev fjernet, efter sigende for at forbedre akustikken for biografgængerne. Det smukke mosaikgulv blev ligeledes ødelagt. I dag tjener katedralen igen sit oprindelige formål, selvom man ikke er helt færdig med restaureringsarbejderne.
Sovjetunionens sammenbrud indebar en omvæltning for Karosta. Letland blev selvstændigt, og de sidste sovjetiske soldater forlod Karosta i maj 1994. I alt havde omkring 35.000 sovjetiske militærfolk med familier boet på området, der var en slags lukket by ved byen Liepaja. Der var blevet opført typiske sovjetiske boligblokke af beton til familierne. De står i skarp kontrast til katedralen og de antikverede røde murstensbygninger.
Flere af de gamle bygninger var i anden halvdel af 1990’erne nærmest ruinhober. Karosta blev en ghetto med forfaldne huse, kriminalitet, høj arbejdsløshed og stofproblemer. Men nu er udviklingen langsomt vendt, og der lyder igen barnestemmer mellem husene. I dag bor der omkring 8000 mennesker i Karosta-området. Men navnet Karosta har for mange endnu en uhyggelig klang. Da kvinden i receptionen på hotellet i Liepaja hørte om målet for dagens udflugt, gøs hun. Karosta, der havde hun aldrig været, og der skulle hun bestemt heller ikke hen! Om det var, fordi det efter sigende spøger i fængslet, eller om det var på grund af områdets almene ry, forblev uopklaret.