На территории Старой крепости среди обветшалых от времени казарм стоит артиллеристский цейхгауз, который строили для хранения оружия и амуниции. Он был построен в 1832 году вдоль крепостного вала. Некоторые исторические источники дают основание предполагать, что проект здания принадлежал архитектору А.Е. Штауберту.
В 1870-ые годы цейхгауз отдали под квартиры для офицеров крепости. И вследствии этого он пережил переделку.
В 1873 году к его южному торцу была пристроена одноэтажная церковь Преображения Господня. Ею пользовалась в основном дисциплинарная рота.
Сегодня зданию, требуется ремонт, реконструкция и реставрация. Однако оно работает, в нем разместилась экспозиция, «И плачет мир спасенный», посвященная Великой отечественной войне. Внутри здания даже в сильную жару царит прохлада, однако отсутствие окон делает помещение цейхгауза не слишком комфортным для больших скоплений народа.
