De oudste vermelding van het gebouw dateert van 1100, in een document waarin de priorin Francesca d’Azevedo melding maakt van de stichting van het gasthuis. Na vele malen verwoest te zijn en heropgebouwd, werden tussen 1644 en 1647 de oudste delen van het vandaag bewaarde monument gebouwd, namelijk het salon en de refter. In 1761 – 1763 werd de huidige kapel gebouwd en rond 1900 vond dan de grootste uitbreiding plaats met de constructie van de neogotische vleugels. Omwille van de grote ouderdom en de vele functiewijzigingen, verkeerde het gebouw in een uitermate slechte staat.
De opdracht betreft de volledige restauratie, renovatie en herbestemming van het monument tot Stedelijke Kunstacademie van de stad Geraardsbergen met de integratie van museale ruimten in het beschermd gedeelte van het complex. Omwille van financiële en gebruikstechnische redenen zijn de werken opgesplitst in fasen, met als eerste prioriteit de maximalisatie van de beschikbare ruimte voor de werking van de kunstacademie en een grondige renovatie van de sterk verouderde technische installaties binnen het gebouw.