New Jersey State Prison er et kompleks, der består af tre separate, men indbyrdes forbundne fysiske anlæg fra tre forskellige perioder af fængselsbyggeri, der fandt sted på ejendommen. De tre dele er 1798 Penitentiary House, 1832 Fortress Penitentiary og det moderne fængselsanlæg fra 1982.
NJ Penitentiary House fra 1798, som var det første statsfængsel i New Jersey og det tredje i landet efter Walnut Street Jail i Philadelphia og Newgate i New York City, er også den ældste bygning, der stadig er i drift som en del af et aktivt, fungerende fængsel i USA. Dette giver NJSP mulighed for at gøre krav på at være det ældste kontinuerligt fungerende statsfængsel i USA. Den eneste overlevende del af fængselsbygningen fra 1798 er det oprindelige Front House, som oprindeligt fungerede som bolig for statsfængslets vogter, de fire assisterende vogtere (de første fire mænd, der fungerede som det, der i dag er kendt som statslige fængselsbetjente), våbenkammeret, administrative kontorlokaler på første sal og en række celler til indespærring af forstyrrende fanger i kælderen. Da fængselshuset holdt op med at huse fanger få år efter åbningen af Fortress Penitentiary i 1832, kan Auburn Correctional Facility gøre krav på at have det ældste kontinuerligt fungerende cellehus i USA.
Efter færdiggørelsen og flytningen af fangerne fra Penitentiary House til det nye, af John Haviland designede Fortress Penitentiary-kompleks i 1836 fungerede anlægget fra 1798 skiftevis som Mercer County fængselsfacilitet under opførelsen af deres Workhouse i Titusville, NJ, og derefter som statens arsenal indtil 1929, da alt nationalgardens udstyr og tjenester, der var baseret der, blev overført til den nyligt færdiggjorte ANG-base i Sea Girt, hvorefter kontrollen med det tomme kompleks blev givet tilbage til statsfængslet. I 1930 blev alle fængselsbygningerne revet ned med undtagelse af Front House, som blev ombygget til en bolig for statsfængslets vogter, hvilket det stadig er beregnet til i dag. Den ryddede jord, hvor fængselshusets cellehuse og butiksbygninger tidligere havde stået, blev omsluttet af en 22 fod høj mur af armeret beton og åbnet som Big Yard i 1930. Denne nye, store rekreationsgård lettede de trange forhold inden for hovedanlæggets mure, som indtil da kun havde begrænset plads til udendørs rekreation.
Den næstældste del af New Jersey State Prison, Fortress Penitentiary, blev bygget mellem 1832 og 1836, da de indsatte fra Penitentiary House ved siden af blev flyttet derover. Anlægget fra 1832 blev opført på et tilstødende stykke jord, der allerede var ejet af staten og kontrolleret af Penitentiary House, under tilsyn af keeperen for statsfængslet, og der blev gjort brug af indsattes arbejdskraft i løbet af de fire år, byggeriet varede. Derfor anses fæstningsfængselsanlægget fra 1836 for at være en tilføjelse til det eksisterende statsfængsel på ejendommen. Denne påstand er gyldig, fordi de to komplekser eksisterede side om side på samme ejendom og blev forvaltet og kontrolleret af fængselsinspektøren som et fængselskompleks, hvor de samme indsatte arbejdede og var indkvarteret. Da statsfængslet i dag drives som et samlet kompleks bestående af særskilte komplekser, er denne konklusion forsvarlig.
I sin kandidatafhandling fra 1917, der blev offentliggjort som “History of the Penal, Reformatory and Correctional Institutions of New Jersey”, offentliggjorde afdøde Dr. Harry Elmer Barnes, den kendte amerikanske historiker, en historie og analyse af statsfængsler, reformatorier og kriminalforsorgsinstitutioner i NJ frem til den tid. Hans værk var en analyse af anvendelsen af de forskellige straffefilosofier og deres succeser, fiaskoer og ændringer fra 1798 til 1917. I dette værk opdelte han straffesamlingshuset og Fortress Penitentiary fra 1832 i to “systemer”. Udtrykket “System”, som Dr. Barnes brugte, blev dengang brugt på samme måde, som vi bruger “Paradym” i dag – hans “First Prison System in NJ” som anvendt på Penitentiary House og “Second Prison System in NJ” som anvendt på 1832-anlægget beskrev ikke to separate fængsler og indikerede heller ikke to separate fængselsmyndigheder.
Dette var en historie og beskrivelse af New Jerseys overgang væk fra Congregate System of Fængselsvæsenet, hvor alle personer uanset alder, køn eller mental tilstand blot blev indespærret i Penitentiary House, til Pennsylvania System of Fængselsvæsenet, som bestod i at holde fanger indespærret i enkeltceller, fuldstændig isoleret fra andre fanger og fængselsbetjentene. Statsfængslets autoritet og ledelse som et agentur ændrede sig ikke – fængselsinspektøren som agenturets leder førte tilsyn med penalhuset, overvågede og bidrog med indsatte arbejdskraft til opførelsen af Fortress Penitentiary mellem 1832 og 1836 og førte tilsyn med overførslen af alle indsatte fra den gamle til den nye anstalt i 1836 og fortsatte med at være i den nye anstalt. Denne opførelse, overførsel og fortsættelse af aktiviteterne fra den ene side af ejendommen til den anden skaber en forbindelse mellem det gamle og det nye fængsel og viser, at statsfængslet i New Jersey har eksisteret og kontinuerligt fungeret på samme sted siden 1798. Dr. Barnes beskrev således en ændring i straffeteori og -praksis og ikke en afskaffelse af de gamle bygninger og det gamle ledelsesorgan og indførelsen af et nyt. Der skete ikke noget brud i driften eller forvaltningen.
Anlægget fra 1832 blev udvidet flere gange i løbet af det 19. århundrede med nybyggeri med tilføjelse af fløje i årene mellem 1859 og 1907 og også større Shop Hall-bygninger. I 1895-96, da fløj 6 blev bygget, blev de oprindelige mure udvidet til hjørnerne af det gamle fængselshusområde for at omslutte denne fløj samt den nyere Shop Hall-bygning, som hidtil havde ligget uden for hovedmurene.
Dødsstraf blev flyttet fra amtsfængslerne til NJ State Prison i 1907, da den første henrettelse blev gennemført ved hjælp af den nye elektriske stol, som Carl Adams fra Trenton havde bygget i værkstederne hos sit Adams Electric Company. Den sidste elektriske henrettelse af denne art fandt sted i 1963. I 1979 blev dødshuset (8-fløjen) sammen med den gamle hospitalsfløj revet ned for at give plads til et nyt gymnasium.
Der blev taget første spadestik til det moderne anlæg i 1979, og det stod færdigt i 1982. Der er ikke blevet foretaget nogen tilføjelser siden da.