Het stadspaleis van de Heren van Gruuthuse is, gelegen op een binnenplein, een absolute blikvanger. Het gebouw dateert uit de 15de eeuw en werd gebouwd voor Lodewijk van Gruuthuse, een belangrijke raadgever van de graven van Vlaanderen. Deze adellijke heer verzamelde niet alleen een aanzienlijke collectie boeken en manuscripten, hij liet aan zijn woning op de verdieping ook een privé-kapel bouwen zodat hij vanuit zijn residentie de misvieringen in de naastgelegen kerk kon meevolgen. Deze uitzonderlijke kapel is nog steeds bewaard. 

Rond 1870 koopt de stad Brugge het stadspaleis aan om er een museum van te maken. De riante woning wordt door de bekende Brugse stadsarchitect Louis Delacenserie grondig verbouwd en verfraaid. Dat doet hij helemaal in de geest van de tijd van Lodewijk van Gruuthuse, de middeleeuwen. Zo laat hij op verschillende plaatsen de spreuk van de bouwheer, ‘Plus est en vous’, aanbrengen. Aansluitend wordt ook de omgeving van het paleis aangepakt. Aan de straatkant wordt het Steenmuseum gebouwd, de tuinmuur die het Gruuthusepaleis amper zichtbaar maakt wordt verlaagd en de tuin wordt publiek toegankelijk gemaakt. Met succes want dit is tot op vandaag één van de meest geliefde zichten op Brugge. 

Tussen de zomer van 2014 en het voorjaar van 2019 sluit de stad Brugge het gebouw voor een grondige restauratie. Aan de buitenkant worden de daken, goten en ramen aangepakt en de gevels gereinigd, terwijl aan de binnenzijde de polychromie van de hal en het plafond worden heropgefrist en de zalen heringericht. Het agentschap subsidieerde een deel van de werken en volgde de volledige werfuitvoering mee op. Als sluitstuk van de herinrichtingscampagne werd op de site een onthaalpaviljoen gebouwd waarin men info en tickets voor een bezoek aan het nieuwe museum en de Onze-Lieve-Vrouwekerk kan aankopen. Voor de vormgeving van dit hedendaags ontwerp liet de architect zich impliciet inspireren door de omringende architectuur. Een frisse realisatie in het historische hart van de stad!

In 2020 was het Gruuthusemuseum laureaat van de Onroerenderfgoedprijs.