Dům „U šlechtičen“ byl postaven v letech 1682–1690 ve stylu městského barokního paláce brněnským stavitelem Janem Křtitelem Ernou. V letech 1790–1791 byla původní jednopatrová budova rozšířena a zvýšena V. J. Eitelbergerem o další poschodí a propojena se sousedním Althanským palácem. Do ulice je obrácen výrazným portálem s bosáží. V interiéru je zajímavá kaple s pozdně barokními freskami. Palác sloužil jako nadační zařízení pro výchovu opuštěných šlechtických a měšťanských dívek.
Po americkém náletu na Brno v roce 1944 byl Althanský palác natolik poškozen, že došlo po roce 1948 k jeho demolici, stejný osud hrozil i Paláci šlechtičen. V průběhu 50. let 20. století se však tuto cennou stavbu podařilo zachránit pro kulturní účely. Profesor Bohuslav Fuchs vypracoval projekt velkorysé rekonstrukce budovy, respektující jak původní historické plány, tak tehdejší muzejní potřeby. Náročné přestavby byly prováděny od roku 1957, v roce 1961 pak došlo k zpřístupnění etnografické expozice Lid v pěti generacích, která sloužila s menšími úpravami k poučení veřejnosti až do podzimu 1999. V letech 2000–2002 byl Palác šlechtičen rekonstruován, od roku 2003 zde probíhají krátkodobé výstavy; připravuje se také nová stálá expozice.