Kdy přesně vznikl v dnešním Panském domě hostinec, který byl prvním a největším zařízením tohoto typu v Chotěboři, není známo. Pověst však říká, že se tu v roce 1424 zastavil na pivu Jan Žižka, když táhl se svými vojsky na Přibyslav.

Prvním doloženým majitelem dnešního Panského domu je žena, Dorota Kábová - Vlačická, která je roku 1591 uváděna jako majitelka gruntu, pozemků a pivovaru. V roce 1600 po smrti Jana Vlačického, zřejmě jednoho z dalších majitelů domu, koupil dnešní Panský dům na splátky Matouš Bolenda. Domu čp. 320 se po něm začalo říkat Bolendovský. Někdy po roce 1645 ho prodal Matouš Bolenda chotěbořské vrchnosti neboli panstvu a od té doby se mu říká Panský dům.

Panstvu, tedy šlechtě vlastnící chotěbořské panství, patřil hostinec od 17. století až do zrušení instituce panství po revoluci 1848. Poté se stává součástí velkostatku rodiny Dobrzenských z Dobrzenic. Vrchnost (ani pozdější majitelé velkostatku) však hostinec neprovozovala, nýbrž dávala do nájmu. Dochoval se zápis o nájemném za rok 1825, které činilo 555 zlatých.

Vzhled Panského domu, který byl zájezdním hostincem s rozlehlým dvorem a konírnami, pozměnil velký požár Chotěboře dne 3. října 1832. Po něm bylo zastavěno původní podloubí, stejně jako u dalších domů na náměstí. Nebyl to však poslední požár Panského domu. Tento oblíbený hostinec vyhořel znovu při dalším velkém požáru města 1. října 1863 a poté ještě jednou v roce 1907.

Zhruba od poloviny 19. století význam Panského domu pro Chotěboř narůstá. Přestává totiž být pouhým hostincem, ale stává se významným kulturním střediskem města. V jeho sále v 1. patře se odehrávají plesy, taneční zábavy, hudební a divadelní produkce, ale třeba také vojenské odvody. V roce 1905 dostal sál stálé jeviště.

V létě roku 1912 zde strávil tři týdny Jaroslav Hašek jako host rodiny Kubánků, tehdejších nájemců hostince. Ti se nakonec slavného spisovatele, velkého bohéma a neplatícího hosta nemohli zbavit. Svůj pobyt v Chotěboři zvěčnil Hašek v povídkách "Zrádce národa v Chotěboři", "Okresní soud v Maliboři", "Jak je to s rodištěm Ignáta Herrmanna" a "Posvícení v Křivici". Některé z nich byly zřejmě napsány přímo v restauraci Panský dům.

Po druhé světové válce patřil Panský dům lidovému spotřebnímu družstvu Jednota, které na přelomu 60. a 70. let upravilo restauraci nevhodným zvýšením podlahy restaurace na úroveň náměstí a vybavilo ji novým nábytkem.

V roce 1992 koupili restauraci její současní majitelé a dali si za cíl celý objekt do roku 2000 zrenovovat a zmodernizovat. Nejprve přišel na řadu vnější vzhled. Panský dům dostal novou fasádu, doplněnou pamětní deskou připomínající chotěbořský pobyt Jaroslava Haška. Zároveň byla vyměněna stará okna za nová, jejichž tvar vychází z původní podoby restaurace. Na budově se také objevily nové vývěsní štíty. Poté bylo zcela zrekonstruováno sociální zařízení pro hosty, následovala renovace prvního poschodí, kde byl původní sál s jevištěm přestavěn v roce 1996 na Billiard Club s barem a částečně zrekonstruována kavárna.

Významnou změnou byla také výměna značky piva. Od konce roku 1996 se v Panském domě čepuje pivo z královského pivovaru Krušovice (založen 1581) a od roku 1998 k němu přibyl světoznámý Plzeňský Prazdroj.

V roce 1997 proběhla komplexní rekonstrukce přízemí, zahrnující vestibul, schodiště a restauraci v přízemí, s cílem prostory nejen zmodernizovat, ale zároveň zachovat jejich historický ráz. Restaurace byla vybavena novým nábytkem a pračkami vzduchu, její zadní část přeměněna na jídelnu. Ve sklepních prostorách vznikly dva příjemné salonky: Rytířský, s dochovanou původní klenbou a Vinařský ve stylu vinného sklípku. Do budoucna se počítá se vznikem penzionu pro ubytování hostů v podkroví objektu, kde jsou k dispozici velké prostory.