Das New Jersey State Prison ist ein Komplex, der aus drei separaten, aber miteinander verbundenen Anlagen aus drei verschiedenen Epochen des Gefängnisbaus besteht, die auf dem Gelände stattfanden. Bei den drei Abschnitten handelt es sich um das Penitentiary House von 1798, das Fortress Penitentiary von 1832 und die heutige Gefängnisanlage von 1982.
Das NJ Penitentiary House von 1798, das erste Staatsgefängnis in New Jersey und das dritte in den USA nach dem Walnut Street Jail in Philadelphia und dem Newgate in New York City, ist auch das älteste noch in Betrieb befindliche Gebäude eines aktiven, funktionierenden Gefängnisses in den Vereinigten Staaten. Damit kann das NJSP für sich in Anspruch nehmen, das älteste kontinuierlich betriebene Staatsgefängnis der USA zu sein. Der einzige erhaltene Teil des 1798 erbauten Strafvollzugshauses ist das ursprüngliche Vorderhaus, das ursprünglich als Wohnhaus für den Gefängniswärter, die vier stellvertretenden Gefängniswärter (die ersten vier Männer, die in der Funktion der heutigen staatlichen Strafvollzugsbeamten dienten), die Waffenkammer, Verwaltungsräume im ersten Stock und eine Reihe von Zellen für die Inhaftierung störender Gefangener im Keller diente. Da das Penitentiary House schon wenige Jahre nach der Eröffnung des Fortress Penitentiary 1832 keine Gefangenen mehr beherbergte, kann die Auburn Correctional Facility für sich in Anspruch nehmen, das älteste durchgehend betriebene Zellenhaus der USA zu besitzen.
Nach der Fertigstellung und der Verlegung der Insassen des Penitentiary House in das neue, von John Haviland entworfene Fortress Penitentiary Compound im Jahr 1836 diente die Anlage von 1798 während des Baus des Workhouse in Titusville, NJ, abwechselnd als Gefängnis des Mercer County und anschließend als staatliches Arsenal bis 1929, als die gesamte Ausrüstung der Nationalgarde und die dort untergebrachten Dienste auf den neu errichteten ANG-Stützpunkt in Sea Girt verlegt wurden, woraufhin die Kontrolle über das leere Gelände an das Staatsgefängnis zurückgegeben wurde. Im Jahr 1930 wurden alle Gebäude des Gefängnisses abgerissen, mit Ausnahme des Vorderhauses, das zu einer Residenz für den Gefängnisdirektor umgebaut wurde, wofür es auch heute noch genutzt wird. Das freigeräumte Gelände, auf dem zuvor die Zellen- und Werkstattgebäude des Gefängnisses gestanden hatten, wurde mit einer 22 Fuß hohen Stahlbetonmauer umgeben und 1930 als Großer Hof eröffnet. Dieser neue, große Erholungshof erleichterte die beengten Verhältnisse innerhalb der Mauern des Hauptkomplexes, der bis dahin nur wenig Platz für die Erholung im Freien bot.
Der zweitälteste Teil des New Jersey State Prison, das Fortress Penitentiary, wurde zwischen 1832 und 1836 erbaut, als die Insassen aus dem Penitentiary House nebenan hierher verlegt wurden. Die Anlage von 1832 wurde auf einem angrenzenden Grundstück errichtet, das sich bereits im Besitz des Staates befand und vom Penitentiary House unter der Aufsicht des Gefängnisdirektors kontrolliert wurde. Folglich wird das 1836 errichtete Fortress Penitentiary Compound als Zusatz zum bestehenden Staatsgefängnis auf dem Grundstück betrachtet. Diese Behauptung ist zutreffend, da die beiden Anlagen auf demselben Grundstück nebeneinander bestanden und vom Wärter als ein Gefängniskomplex verwaltet und kontrolliert wurden, in dem dieselben Insassen arbeiteten und untergebracht waren. Da das Staatsgefängnis heute als ein einheitlicher Komplex betrieben wird, der sich aus getrennten, unterschiedlichen Anlagen zusammensetzt, ist diese Schlussfolgerung vertretbar.
In seiner 1917 veröffentlichten Magisterarbeit mit dem Titel „History of the Penal, Reformatory and Correctional Institutions of New Jersey“ veröffentlichte der verstorbene Dr. Harry Elmer Barnes, der bekannte amerikanische Historiker, eine Geschichte und Analyse der staatlichen Gefängnisse, Besserungsanstalten und Strafvollzugsanstalten von NJ bis zu diesem Zeitpunkt. Sein Werk war eine Analyse der Anwendung der verschiedenen Strafvollzugsphilosophien und ihrer Erfolge, Misserfolge und Veränderungen von 1798 bis 1917. In diesem Werk unterteilte er das Penitentiary House und das Fortress Penitentiary von 1832 in zwei „Systeme“. Der von Dr. Barnes verwendete Begriff „System“ wurde damals so verwendet, wie wir heute „Paradym“ verwenden – sein „Erstes Gefängnissystem in NJ“ in Bezug auf das Penitentiary House und sein „Zweites Gefängnissystem in NJ“ in Bezug auf die Einrichtung von 1832 beschrieben weder zwei getrennte Gefängnisse noch wiesen sie auf zwei getrennte Gefängnisbehörden hin.
Es handelte sich um eine Geschichte und Beschreibung des Übergangs von New Jerseys Kongregationssystem, bei dem alle Personen unabhängig von Alter, Geschlecht oder geistigem Zustand einfach im Penitentiary House eingesperrt wurden, zum Pennsylvania-System, das darin bestand, die Gefangenen in Einzelzellen zu halten, völlig isoliert von anderen Gefangenen und den Wärtern. Die Autorität und Verwaltung des Staatsgefängnisses als Behörde änderte sich nicht – der Wärter als Leiter der Behörde überwachte das Penitentiary House, beaufsichtigte den Bau des Fortress Penitentiary zwischen 1832 und 1836 und beteiligte sich an der Arbeit der Gefangenen, überwachte die Verlegung aller Gefangenen aus dem alten in das neue Gefängnis im Jahr 1836 und setzte sie im neuen Gefängnis fort. Dieser Bau, die Verlegung und die Fortführung des Betriebs von einer Seite des Geländes auf die andere stellt eine Verbindung zwischen dem alten und dem neuen Gelände her und zeigt, dass das New Jersey State Prison seit 1798 ununterbrochen am selben Ort betrieben wurde. Dr. Barnes beschrieb also einen Wechsel in der Strafvollzugstheorie und -praxis, nicht die Abschaffung der alten Gebäude und der alten Behörde und die Ersetzung durch eine neue Behörde. Es gab keine Unterbrechung des Betriebs oder der Verwaltung.
Die Anlage von 1832 wurde im Laufe des 19. Jahrhunderts mehrmals erweitert, wobei in den Jahren zwischen 1859 und 1907 neue Gebäude mit zusätzlichen Flügeln und auch größere Hallengebäude hinzukamen. Als 1895-96 der 6. Flügel gebaut wurde, wurden die ursprünglichen Mauern bis zu den Ecken des alten Gefängnishauses verlängert, um diesen Flügel sowie das neuere Gebäude der Werkstatthalle zu umschließen, das sich bis dahin außerhalb der Hauptmauern befunden hatte.
Die Todesstrafe wurde 1907 von den Bezirksgefängnissen in das NJ State Prison verlegt, als die erste Hinrichtung mit dem neuen elektrischen Stuhl vollzogen wurde, den Carl Adams aus Trenton in den Werkstätten seiner Adams Electric Company gebaut hatte. Die letzte Hinrichtung dieser Art fand 1963 statt. 1979 wurden das Todeshaus (8. Flügel) und der alte Krankenhausflügel abgerissen, um Platz für eine neue Turnhalle zu schaffen.
Der erste Spatenstich für die heutige Anlage erfolgte 1979, und sie wurde 1982 fertiggestellt. Seitdem wurden keine Erweiterungen mehr vorgenommen.