A ferences szerzetesek valószínűleg a 15. század közepén telepedtek meg Pápán a várost birtokló Garai család támogatásával. Első, Szent László nevét viselő kolostoruk és kápolnájuk helye a mai Szent László utcában lehetett. A következő század közepéig háborítatlanul éltek a biztonságot nyújtó várban, a huszonegy szerzetes iskolát tartott fenn, sőt 1535-ben a török elől Pápára menekítették Nagyváradról a rend teológiai főiskoláját, 1543-ban pedig az ozorai zárda kincseit. 1559-ben azonban a reformáció térhódítása, az új hittel rokonszenvező Enyingi Török János és Ferenc földesurak nyomása, valamint a török fenyegetés miatt a ferencesek kénytelenek voltak elhagyni a várost.
A rend 1660-ban tért vissza az immár katolikus földesúr, Esterházy Ferenc és felesége, Thököly Katalin hívására. A gróf építtette fel 1678 és 1680 között a templomot és a kolostor nyugati, Barát utcai szárnyát. A Rákóczi-szabadságharcban Pápa a fejedelmet támogatta, ezért 1707-ben a labancok felégették a várost; a tűzvészben a kolostor és a templom is leégett, kijavításukra csak 1715-ben, illetve 1722-ben került sor. 1747-ben ismét a tűz martaléka lett a templom, 1764-ben építtette újjá Esterházy Károly püspök, és ekkor épült a kolostor keleti, Kígyó utcai szárnya is. Ezt követően az épületegyüttes háromszor esett át nagyobb felújításon, 1822-ben, 1921-ben és 1940-ben.
A kommunista államhatalom 1950-ben rendeletileg feloszlatta a szerzetesrendeket. A ferencesek több ezer kötetes könyvtárának, melyben számos nagy értékű, sok száz éves kötetet is őriztek, illetve helytörténeti szempontból felbecsülhetetlen értékű levéltárának nyoma veszett. A kolostorban a rendszerváltás előtt állami hivatalok működtek, ma üresen áll, állaga rohamosan romlik.
