Pavlínin dvůr byl původně příměstský hospodářský statek Franze Tersche z počátku 19. století, užívaný pro chov skotu a výrobu a distribuci mléka a mléčných výrobků. Byl to rozsáhlý prostor téměř čtvercového půdorysu obklopený řadou stodol, nejméně se dvěma velkými sálovými kravíny zaklenutými klenbami mezi pásy, s mléčnicí a s ubytováním pro personál. Ve 30. letech 19. století byl doplněn Terschovým synem o klasicistní panský obytný dům.

Dům byl v 80. letech 19. století přestavěn architektem M. Hinträgerem na novorenesanční palác pro barona Chiariho a na počátku 20. století ještě rozšířen. Zároveň byly přestavovány i hospodářské budovy, postaveny rozlehlé stáje s litinovými sloupy a klenbami mezi traverzami. Kolem dvora byl založen park a poblíž zeleninová zahrada. Ve 20. letech 20. století byla modernizována mlékárna a zřízena prodejna mléka.

Po roce 1945 přešel objekt do majetku Města Šumperka, byl zde městský stavební dvůr, sběrna odpadových surovin, garáže a posléze i muzeum. V 60. a 70. letech 20. století byly všechny stavby dvora včetně půdních prostor rekonstruovány pro potřeby kulturních zařízení sídlících ve městě. Pavlínin dvůr byl vyhlášen kulturní památkou.

Muzeum opravami získalo kvalitní výstavní a koncertní síň, reprezentativní prostory pro stálou expozici, řadu kanceláří pro odborné a správní pracovníky, aranžovnu, konzervátorskou a preparátorskou dílnu i menší provozní prostory pro řemesla. Zkvalitňování vnitřního vybavení, opravy střech a inženýrských sítí probíhaly po celá 90. léta.

V roce 2005–2006 proběhla rekonstrukce fasád severního křídla dvora a v části bývalých stájí byla vybudována Galerie Šumperska, nové informační centrum a přednáškový sál. Rekonstrukce se dočkal i rozsáhlý dvůr, který je často využíván pro kulturně-společenské akce.

Vlastivědné muzeum v Šumperku je příspěvkovou organizací zřizovanou Olomouckým krajem, která provozuje Muzeum v Šumperku, Muzeum Mohelnice, Muzeum Zábřeh, Památník Adolfa Kašpara v Lošticích a Lovecko-lesnické muzeum na zámku v Úsově.

V současnosti je v šumperském muzeu veřejnosti otevřeno pět výstavních prostor. Stálá expozice Příroda a dějiny severozápadní Moravy přibližuje návštěvníkům nejen historii regionu, ale i jeho přírodní bohatství. V dalších výstavních prostorách (ve Výstavní síni, Rytířském sále, Hollarově galerii a v Galerii mladých) probíhají krátkodobé muzejní a výtvarné výstavy a další akce, které se každoročně těší přízni více než 20 tisíc návštěvníků. V bývalé Galerii Šumperska vzniklo v roce 2016 Muzejíčko s interaktivními výstavami zaměřenými na nejmladší návštěvníky.