Bár ma mindenki Esterházy palotaként ismeri, a háznak természetesen volt története az Esterházyak, mint tulajdonosok megjelenése előtt is: egészen a 14. századig maradtak fenn ezzel kapcsolatos dokumentumok. Az épület évszázadokon át a város tulajdona volt, általános szálláshelyként szolgált: vándorló mesterlegények, a városi bába, tanító lakhatott itt, de lakott itt a 17. század végén a városkapitány is. Több részletben, többszöri átépítés után alakult ki a ma látható, nagyrészt késő reneszánsz stílusú épület.
A mai homlokzat jellegzetes elemi: a konzolokra épített nagyablakos erkély, a a kétszárnyú kapu fölé helyezett hadi jelvények, a belső udvar ma is látható loggiás –árkádos formája a 16-17. században épült.
Az utolsó nagy korszaka a háznak az Esterházy családhoz kötődik: Esterházy Fényes Miklósnak nevezett herceg egyik felmenője, Esterházy Pál herceg vásárolta meg másodszülött fiának, 1752-ben Amedé bárónőtől.
A család tulajdonlásához köthető ma látható állapot kialakulása, lezárták a házat: a mai napig látható a kocsiszínnel teljes lett az udvar körbeépítése. Elhelyezték a máriacelli kegyszobor másolatát és a család címerét a homlokzaton, kitágították a belső lépcsőházat, kialakítottak egy reprezentatív lakosztály, s ehhez áttörték a két Esterházy tulajdonba lévő ház közötti falat. Ebből a korszakból való a nagyterem klasszicizáló késő-barokk festése.
Átalakították a földszintet: kibővítve az istállót és a kocsiszínt. Megtartották az udvart, a lépcsőház balluszteres korlátját, és a csehsüveg boltozatú kapualjat, viszont befalazták a gótikus ülőfülkéket. A 19. századba épült a várfalon megmaradt kevés „védőtoronyra” a ma is látható zenepavilon.
A főispáni tisztséget többször betöltő család városi háznak és hivatalnak is használta az épületet, de elsősorban a birtok erdő- és mérnöki hivatala működött itt. Voltak azonban az épületben lakások is.
A ház 1945 után kórházként üzemelt, majd az Erdészeti Technikum fiúkollégiumaként használták. A Városi Tanács döntése alapján adták át az 1957-ben megnyílt a Központi Bányászati Múzeum céljaira.
A bejegyzésben szereplő fényképek a Soproni Múzeum tulajdonai. A külső épületfotók Diebold Károly munkái az 1930-as évekből, míg az udvari képek Vadas Jenő munkái az 1940-es évekből.
