Erguido sobre um maciço granítico em posição dominante sobre o vale de Riba-Côa, área de passagem entre a Meseta Ibérica e a depressão da Cova da Beira, integra o conjunto da que é considerada uma das mais bem conservadas Aldeias Históricas da Beira Interior.
A primitiva ocupação humana do local remonta à pré-história, possívelmente a um castroNeolítico. Atraídos pela riqueza mineral da região e pela posição estratégica do local, este teria sido sucessivamente ocupado por Romanos, Visigodos e Muçulmanos.
O castelo medieval
À época da Reconquistacristã da Península Ibérica, Pena Sortelha, como então era chamada, constituiu-se em defesa da região fronteiriça, disputada entre Portugal e Castela. A partir de 1187, D. Sancho I (1185-1211) tomou medidas para repovoar o lugar, e foi o seu neto homónimo, D. Sancho II que concedeu foral à vila (1228), época provável da edificação do castelo. A cerca da vila seria beneficiada por D. Dinis no século XIII que, a partir da assinatura do Tratado de Alcanises (1297), fixou as fronteiras para além das terras de Riba-Côa. No século seguinte, foi erguida uma nova cerca por iniciativa de D. Fernando.
No século XV sabe-se que o alcaide do castelo era Manuel Sardinha, sucedendo-lhe Pêro Zuzarte.
Em 1510, D. Manuel I (1495-1521) renovou o foral da Vila, mencionando que os seus habitantes não estavam obrigados a dar hospedaria aos grandes e pequenos do reino, se essa fosse a vontade do povo de Sortelha. Esse soberano também iniciou uma campanha de obras no castelo, dentre as quais subsiste a emblemática manuelina sobre a porta. Em 1522 Garcia Zuzarte tornou-se alcaide-mor. Nesse século ainda, o nobre D. Luís da Silveira, guarda-mor de D. Manuel I e de D. João III (1521-1557), adquiriu o castelo, tornando-se seu alcaide, conferindo-lhe D. João III o título de Conde de Sortelha.
Da Guerra da Restauração aos nossos dias
Com a Restauração da independência, após 1640, foi iniciada a adaptação da estrutura defensiva às novas técnicas militares, adaptando-a ao fogo da artilharia. Nesta fase, o Castelo esteve envolvido em diversas operações militares contra forças de Castela em acção na fronteira, o mesmo se repetindo no século XVIII contra o mesmo inimigo e, posteriormente, no início do século XIX, no contexto da Guerra Peninsular, contra as forças francesas de Napoleão.
Desguarnecido posteriormente, quando a sede do Conselho foi extinta em 1855 tanto a vila quanto o seu castelo entraram em processo de decadência.
O Castelo (ou cidadela), no estilo românico e gótico, com intervenções manuelinas, encontra-se na cota de 760 metros acima do nível do mar, interrompendo a cerca da vila a Sudeste e desenvolvendo-se para o seu exterior. Acedido por uma escadaria, os seus muros apresentam traçado ovalado irregular percorridos no topo por adarve com remate biselado e seteiras cruciformes. São rasgados por duas portas:
a Porta do Castelo, a Nordeste, em arco pleno, com ombreiras parcialmente entalhadas no afloramento rochoso, é encimada por balcãomisulado com mata-cães (conhecido como “Varanda de Pilatos”) ao lado do qual se inscrevem as armas de D. Manuel I;
a Porta Falsa do Castelo, a Sul, com lintel reto e umbrais oblíquos.
No interior da praça de armas localiza-se a cisterna de planta quadrangular e, na parte mais elevada, ao centro, a Torre de Menagem, também de planta quadrada, com um só pavimento. Esta apresenta embasamento escalonado, com uma porta rasgada a Sul, de lintel reto com umbrais oblíquos encimada por arco de descarga de volta perfeita, assim como três seteiras nos demais alçados. É encimada por merlões retangulares com coroamento piramidal.
A cerca da vila apresenta um traçado ovalado irregular, engastada em afloramentos rochosos de granito (inacessível pela vertente Sul), desprovida de merlões. Esta cerca é rasgada por quatro portas:
a Porta da Vila ou Porta do Concelho, a este, em arco quebrado e coberta com abóbada concordante, acedendo o chamado largo do Curro, um terreiro em torno do qual se dispõe a malha urbana da vila medieval, acompanhando as curvas de nível do perfil topográfico da escarpa;
a Porta Nova ou Porta Nova da Vila, a oeste, em arco pleno com abóbada de berço, exibindo ainda as medidas padrão da vara e do côvado;
a Porta Falsa, a nordeste, em arco quebrado, entaipada na reforma seiscentista; e
outra Porta Falsa, a sudeste, junto ao castelo, destacando-se pela presença do arco ultrapassado no lado exterior e arco pleno no lado interior.
O perímetro defensivo urbano integra a chamada Torre do Facho, localizada a Nordeste, muito perto da Porta Falsa. Esta apresenta planta quadrada, com embasamento escalonado e desprovida de vãos. No cunhal Sudeste, junto à Porta da Vila, eleva-se sobre o adarve um pequeno torreão ou vigia, de planta circular e coroamento cônico. Nesta torre foi erguido um marco geodésico, assinalando o ponto mais elevado da região, com a cota de 773 metros acima do nível do mar.
