Está inserido no Paço Episcopal, edifício que também foi erguido a pedido de um Bispo da Guarda, D. Nuno de Noronha. A obra começou em 1596 e terminou em 1598. Sabe-se ainda que sofreu uma profunda intervenção no século XVIII, após a elevação de Castelo Branco a sede de bispado. Nesse período o paço transformou-se na residência dos bispos da região. Só mais tarde, já no século XX, é que foi convertido no Museu Francisco Tavares Proença Júnior. Foi em 1971, depois de ter sido liceu, escola normal e escola comercial.

Arquitetonicamente é composto por uma planta retangular, que forma dois corpos alinhados em ângulo reto. A fachada principal está voltada a norte e destaca-se pelas dez janelas de sacada de lintel reto, que são rematadas por um frontão curvilíneo. Tem ainda oito janelas no frontão reto e uma moldura simples. Já o acesso ao peristilo é possível graças à escadaria de cantaria. O telhado é de cinco águas.