Dům nacházející se v Břetislavově ulici získal pojmenování po svém majiteli Matěji Mydláři, povoláním svíčkaři a výrobci mýdla. Původní stavba byla vybudována v gotickém slohu. Matěj ji v roce 1571 zakoupil od Markéty, vdovy po Janu Conovi, a přestavěl v letech 1573–1577 v renesančním slohu, inspirován svými cestami po Itálii.
Rozšíření domu do šířky nebylo možné, tudíž jediná cesta byla směrem vzhůru. Z tohoto důvodu můžete obdivovat tři patra, z nichž dvě jsou zdobena loggiemi o pěti obloucích, které nesou toskánské sloupy. Poslední patro bylo ze statických důvodů nahrazeno dřevěným.
Loggie prvního patra je zdobena reliéfy stojících a ležících postav, stojící figury symbolizují (zleva) zbožnost, spravedlnost, opatrnost a sílu. Figury ležící (zleva) jsou personifikací míru, války, lásky, poctivosti a moci. Pod nimi si můžeme na krakorcích, což jsou gotické kamenné nosné prvky, spatřit hlavu šaška, býka, sovu, jelena, růži a zkratku IHS (Iesus Hominum Salvator – Ježíš spasitel lidí). Nade dveřmi se nachází nápis vyňatý z knihy Janovy, 4. kapitoly, 16. verše „Bůh je láska, kdo v lásce přebývá, v Bohu přebývá a Bůh v niem, Léta Páně 1573“ a monogram MM.
Typickým znakem Mydlářovského domu je minaretové dvojvěží vybudované Danielem Mydlářem, synem Matěje. První věž je pětiposchoďová, šestihranná, s točitým schodištěm, druhá je přistavěna z východní strany, přesahuje první a je zakončena minaretem. Věže bývají označovány jako hvězdárna.
Posledním majitelem z rodu Mydlářů byl František Mydlář, pravnuk Matěje. Do cizích rukou se dům definitivně dostal roku 1765. Poslední soukromou majitelkou byla Marie Kozlanská, která dům roku 1952 odkázala obci. Muzeum loutkářských kultur zde bylo slavnostně otevřeno v roce 1972.
Mydlářovský dům ve své moderní historii prodělal tři rekonstrukce. První proběhla v padesátých letech 20. století, druhá v letech sedmdesátých. Poslední rekonstrukce začala roku 2011 a byla dokončena v roce 2012. Během ní byly opraveny fasády na straně severní (do ulice) i jižní. Rukama restaurátorů rovněž prošly všechny kamenné prvky nacházející se na Mydlářovském domě, od ostění oken po kamenné reliéfy postav. Zároveň proběhla rekonstrukce vstupních prostor muzea, při které byla znovuobjevena středověká až raně novověká jímka. Tato jímka byla poprvé odkryta v roce 1954 a nálezy z ní můžeme datovat do rozmezí 14. až 17. století.
Pověsti o Mydlářovském domě
K Mydlářovskému domu se váží dvě pověsti. První vypráví o Janu Mydláři, katovi pocházejícím z Chrudimi. Tento Jan, podle pověsti syn chrudimského městského písaře, se ještě před odchodem na studie do Prahy zamiloval do své sestřenice Dorotky, dcery Matěje Mydláře. Dorotka se však musela provdat za mlynáře Vaňuru. Jan zůstal v Praze, ale když se dozvěděl o smrti mlynáře a o procesu s Dorotkou, která byla obviněna z otravy manžela, vrátil se do Chrudimi. Stal se pomocníkem místního kata, aby Dorotce z vězení pomohl. Nicméně plán se nezdařil, Dorotka byla popravena a Jan byl jako kat vyloučen ze společnosti a stanul na jejím okraji.
Tato pověst vznikla na základě románu Josefa Svátka „Paměti katovské rodiny Mydlářů v Praze“ z 80. let 19. století. Podložená je existence Dorotky a Matěje Mydláře, kteří v 16. století v Chrudimi skutečně žili. Archivní prameny hovoří o sporu Dorotčina otce Matěje a jejího bratra s místním rychtářem o majetek zesnulého mlynáře. Rychtář si majetek nárokoval, protože se Dorotka přiznala k mlynářově vraždě. Dále již bohužel prameny mlčí. Romantický vztah mezi Dorotkou a Janem, jehož existence prokázaná není, je založen pouze na fantazii Josefa Svátka, nikoliv na skutečných historických událostech. Spojitost mezi pražským katem Janem Mydlářem a rodem Mydlářů z Chrudimi nikdy prokázána nebyla.
Druhá pověst se týká minaretového dvojvěží, které nechal vystavět Daniel Mydlář, syn Matěje. Přesné informace o funkci věží nemáme, ale již v dobách svého vzniku byly nazývány hvězdárnou, předpokládá se tedy, že sloužily k astronomickým pozorováním. Legenda vypráví, že zde dokonce pobýval Tycho de Brahe (významný dánský astrolog a alchymista působící na dvoře Rudolfa II.). Žádné z doposud objevených pramenů však tuto domněnku nepotvrdily.