Pierwsza część więzienia została zbudowana w latach 1810-1813 za czasów Napoleona, aby przetrzymywać jeńców wojennych, skazańców wojskowych i tzw. żołnierzy roboczych. Podczas I wojny światowej (1914-1918) służyło jako obóz jeniecki dla oficerów. W latach dwudziestych XX wieku pruskie sądownictwo przekształciło Fort Zinna w „Więzienie Torgau”. Po przejęciu władzy przez nazistów w 1933 r. więziono tu przeciwników politycznych, a podczas II wojny światowej Fort Zinna stał się jednym z dwóch głównych więzień w Torgau dla Wehrmachtu (armii niemieckiej).
W połowie 1943 r. Sąd Wojskowy Rzeszy, najwyższy sąd wojskowy III Rzeszy, przeniósł się do Torgau z Berlina, czyniąc miasto centrum niemieckiego sądownictwa wojskowego i systemu karnego podczas wojny.
Podczas II wojny światowej w Torgau przetrzymywano około 60 000 więźniów Wehrmachtu: niemieckich żołnierzy, ale także członków ruchu oporu przeciwko narodowemu socjalizmowi z wielu krajów europejskich, takich jak Luksemburg, Francja i Polska. Kilkuset więźniów zostało straconych, a wiele tysięcy wysłano z Fortu Zinna na front, by służyli w jednostkach karnych. Wielu z nich zginęło podczas tych szczególnie niebezpiecznych misji.
Od września 1945 r. Fort Zinna był wykorzystywany przez sowiecką tajną policję jako obóz specjalny. Więźniami byli Niemcy, którzy współpracowali jako funkcjonariusze partii nazistowskiej lub byli bezpośrednimi sprawcami zbrodni nazistowskich.
Wielu innych zostało uwięzionych, ponieważ uznano ich za przeciwników nowego porządku komunistycznego. Fort Zinna służył również jako centralny obóz przejściowy w sowieckiej strefie okupacyjnej, z którego tysiące Niemców i obywateli sowieckich deportowano do obozów w Związku Radzieckim. Po utworzeniu komunistycznej Niemieckiej Republiki Demokratycznej (NRD), Fort Zinna stał się więzieniem dla mężczyzn, w którym przetrzymywano więźniów politycznych. Przez kilka dziesięcioleci instytucja obejmowała więzienie dla nieletnich, w którym młodociani byli więzieni często z powodów politycznych.