Město Litomyšl leží v nadmořské výšce 320-370 metrů na okraji tzv. Loučenské tabule a Českotřebovské vrchoviny, které jsou součástí Svitavské pahorkatiny, jež náleží do soustavy České křídové tabule. Od severozápadu od Vysokého Mýta sem zasahuje jakási úzká zátočina východočeské nížiny, na východě od České Třebové a na jihu směrem od Poličky je potom Litomyšl obklopena nevysokými pahorkatinami a hřbety dosahujících výšky kolem 600 metrů nad mořem. V minulosti byl litomyšlský úval jižním zálivem druhohorního moře, jehož usazeniny dnes tvoří četné opukové skály a cihlářské jíly v okolí. Na vodní toky je Litomyšlsko chudé, neboť leží na samém okraji vodního předělu mezi Černým a Baltským mořem. Významnější je pouze řeka Loučná, která Litomyšlí protéká.
V okruhu 20 kilometrů se nacházejí města Svitavy, Česká Třebová, Vysoké Mýto, Ústí nad Orlicí a Polička. Litomyšl leží na hlavním silničním tahu číslo 35 Olomouc - Hradec Králové, přibližně 150 kilometrů od Prahy, 85 km od Brna a asi 50 km od Hradce Králové. Město rovněž leží na železniční trati Choceň-Litomyšl, popř. je dostupné autobusem ze železniční stanice Česká Třebová.