Vankila-aika sai alkunsa keisari Aleksanteri I määräyksestä 5.11.1816. Tällöin määrättiin, että Lappeenrantaan on perustettava naisvankeja varten kehruuhuone, koska Turun naisvankila oli käynyt ahtaaksi. Lappeenrantaan määrättiin sijoitettavaksi kaikki rikoksista tuomitut naiset sekä pahatapaiset ja joutilaat naispuoliset irtolaiset.Tänään myös kaksi rakennusta muodostaa kokonaisuuden. Vuorossa kaksi vanhaa kasarmirakennusta,jotka muutettiin linnoitukseen menetettyä sotilaallisen merkityksensä vankilatiloiksi. Sodan jälkeen vielä linnoitusta käytettiin vankilana vuosina 1944-1946 jolloin sinne kerättiin neuvostoliittoon lähetettäviä vankeja.tästä ajasta löytyy valitettavan vähän tietoa.Kehruuhuoneen lopetettua, ei uusia vankeja tarvinnut kauan odotella. Syksyllä 1882 laivoilla kuljetettiin miesvankeja paikalle. Viipurin Pantsarlahden työsiirtolan asukkaat saivat uuden kodin Lappeenrannasta. Valtaosa heistä oli tuomittu irtolaisuudesta. Vuosisadan vaihteen kieppeillä myös kuritushuonevankeja aloitettiin sijoittamaan Lappeenrantaan. Täällä suorittivat tuomiotaan esimerkiksi Viaporin kapinasta vangitut sotilaat.