Разработанная архитектором Джоном Хавилендом и открыта 25 октября 1829 года Восточная государственная тюрьма считается первым в мире учреждением такого типа с пенитенциарным режимом. Это было одно из первых зданий в Америке, имеющее центральное отопления и водопровод, даже главные гос. учреждение (например, Белый Дом) не могли похвастаться тем же. Его массивный каменный фасад больше напоминает средневековый замок, чем тюрьму и имеет стены 20 дюймов толщиной.
Комплекс строился, как ответ тюрьмам с обычным режимом. По его завершении, здание было самым большим и самым дорогим общественным учреждением когда - либо возведенным, и быстро стал образцом для более чем 300 тюрем по всему миру. В ней проповедовалась идеология того, что изначально все люди хорошие и, если преступников оставить один на один со своими мыслями, они всё осознают, раскаются в содеянном и станут на путь исправления.
Заключенные содержались строго в одиночных камерах, разговаривать было запрещено всем кроме капеллана и тюремных охранников. Массивные деревянные двери, обитые железом, служили отличной звукоизоляцией. Они были очень низкие и узкие, для того чтобы в них пройти заключённому нужно было «поклониться» сотрудникам, что тоже являлось частью исправительной программы учреждения. В камерах также отсутствовали окна, единственный источник дневного света – узкое окно в потолке, которое руководство называло Глазом Бога (Eye of God).
23 часа в сутки, заключенные проводили в камерах, режимом были разрешены только две получасовых прогулки. Каждые две недели, их выводили из камер в тюремную баню, на головы заключённым надевали капюшоны, чтобы те не могли видеть, куда они идут или мельком увидеть другого заключенного.В ESP охранниками была разработана система различных физических и психологических пыток для нарушителей, в том числе обливания заключенных ледяной водой на улице в зимнее время, или их запястья прикрепляли цепью к языку таким образом, чтобы при попытке какого-либо сопротивления заключённый рисковал вызвать себе язык. Заключенных привязывали к стулу кожаными ремнями и оставляли так на несколько дней. В самом худшем случае провинившихся отправляли в яму под названием «Дыра», выкопанную под тюремным корпусом №14, где не было никакого света, кровати, туалета, и никаких контактов с внешним миром, там они проводили не меньше двух недель.
Система одиночного заключения в конце концов рухнула из-за проблем, с переполнением. К 1913 году ESP официально отказалась от изолированной системы и работала в качестве обычной тюрьмы.
Здесь в 1929 году провел 8 месяцев знаменитый гангстер 30-х годов, гроза Чикаго Альфонс Габриэль Капоне более известный, как Аль Капоне. Он содержался в отдельной «люксовой» камере с индивидуальным интерьером. Камера была обставлена элитной итальянской мебелью, на полу восточный ковёр, декоративные светильники и радио (Капоне любил слушать вальсы). В тюрьме он считался непререкаемым авторитетом даже для охраны, которая беспрекословно исполняла все его распоряжения.
Другой знаменитый «постоялец» этого заведения был Вилли Саттон, знаменитый грабитель банков, ограбивший за свою жизнь более 100 банков на общую сумму более 2 миллионов долларов.
Он был заключён в 1932 году, а в 1945 совершил побег через тоннель длинной 157 футов прорытый под стеной тюрьмы с ещё одиннадцатью заключёнными, но после выхода из тоннеля сразу же был пойман.
Тюрьма была закрыта в 1971 году. Многие заключенные и охранники были переведены в тюрьму Гратерфорда. До 1994 года комплекс простоял в заброшенном состоянии. В настоящее время тюрьма является Национальным историческим памятником, который открыт в качестве музея для экскурсий семь дней в неделю, двенадцать месяцев в году, с 10 утра до 5 вечера.