Nejstarší písemná zpráva o Litomyšli je k roku 981. Jedná se o záznam v latinsky psané Kosmově kronice - v tzv. Kapitulním rukopise ze 14. století - o úmrtí knížete Slavníka roku 981 se zmínkou o Litomyšli. Ta byla původně ochranným hradištěm slavníkovského knížectví na význačné obchodní stezce, které střežilo pohraniční zalesněné území proti Moravě. 

Král Přemysl Otakar II. vydal 27. července 1259 klášteru litomyšlskému dvoje privilegium, jímž dal Litomyšli právo městské. V prvním stvrdil všechna dosavadní privilegia kláštera se stručným podotknutím, že dává obci Litomyšli táž práva a svobody, jichž užívají královská města. Město si volilo svého primátora a 12 konšelů. Ve druhé listině vymezuje král své privilegium podrobněji, Litomyšl je zde jmenována jako majetek kláštera u P. Marie a dávají se jí práva soudní, městské i tržní v tom rozsahu jako měla i ostatní královská města. 

Renesanční zámek si v 16. století nechali postavit jako své rodové sídlo Pernštejnové. Rozsáhlou přestavbu navrhl Giovanni Battista Aostalli (1510–1575). Pro východní křídlo, severní chodbu a spojovací křídlo byla adaptována starší stavba Kostků z Postupic. Západní křídlo je renesanční novostavbou s částečným využitím starších sklepů. Bohatou sgrafitovou výzdobu, jak psaníčkovou (asi 8000 psaníček na plášti zámku) tak figurální (náměty starozákonní, antické, bitevní scény na severní stěně II. nádvoří) provedla skupina italských zedníků a kameníků, z nichž je nápisem na sgrafitu zmíněn Šimon Vlach. Pernštejnové vybudovali na zámku i kapli, zasvěcenou svaté Monice. Po Pernštejnech získali zámek Trauttmansdorfové, po nich se na zámku usadil rod Valdštejnů-Vartenberků, ti nechali upravit interiéry v klasicistním stylu. Zámek se v roce 1855 dostal do aukce, ve které ho koupili Thurn-Taxisové, kteří na zámku již nesídlili. Přesto zůstal zámek v jejich držení až do konce druhé světové války, kdy byl na základě dekretů prezidenta republiky rodu zabaven. Stavba je vzácnou ukázkou úpravy italského renesančního paláce, v přízemí šlechtické rezidence se dochovalo unikátní barokní divadlo s funkční mašinérií a souborem kulis.

4. prosinec roku 1999 byl významným dnem v novodobé historii litomyšlského zámku. V tento den rozhodl Výbor pro světové dědictví o zapsání zámeckého areálu na Seznam světového kulturního a přírodního dědictví UNESCO.