Az eredeti pálos kolostort és templomot Nagy Lajos király építtette 1352 körül. A nosztrai monostorban megfordult Kapisztrán Szent János, Hunyadi János és Mátyás király is. A törökkorban elpusztult épületet 1717 és 1729 között barokk stílusban építették újjá. A XVIII. században híres írók és költők éltek falai között (Ányos Pál, Verseghy Ferenc, Virág Benedek). 1786-ban II. József feloszlatta a szerzetesrendet. Ezt követően a kolostor katonai raktár volt, kórház, majd 1854 óta fegyintézet. Előbb női börtön, 1952 óta férfifegyház.