Under 1520-talet hade den danske sjörövaren Sören Norrby det ointagliga Visborgs slott som bas för sina härjningar på Östersjön. Handelsförbundet Hansan hade dock tröttnat på detta och på pingstmorgonen den 13 maj år 1525 anföll Lübeckarna staden från norr. Vid anfallet utbröt strider mot Sören Norrbys soldater och stora delar av nordvästra Visby sattes i brand. Det är till och med sannolikt att det var Norrbys män som tillämpade den brända jordens taktik. Konventet var inget undantag och byggnaderna övergavs efter detta. Bara några år senare kom reformationen, varvid även kyrkan lämnades åt sitt öde.

Konventet kom, liksom andra ruiner, att användas som stenbrott. Detta var praktiskt då stenen var färdighuggen. Under 1700-talets andra hälft utlovade staten upp till 20 års skattelindring för den som byggde i sten. Det berodde på att skogen, som avverkades i alltför hög takt, bättre behövdes till kalkbränning.