Kilkaset metrów na północ od pałacu Pena, pomiędzy dwoma skalnymi szczytami wznoszą się pozostałości Castelo dos Mouros. Forteca wybudowana przez Arabów w VIIIw., w 1147r. została zdobyta przez Alfonsa I i walczących wraz z nim krzyżowców. W XIXw., za panowania Franciszka II ruiny twierdzy zostały częściowo odrestaurowane.
Do dzisiaj, obok fantastycznie ukształtowanych, imponujących swą długością murów zachowały się ruiny dawnego meczetu oraz zbiornik na wodę. Z zamku rozciąga się piękny (choć nie tak wspaniały jak z Palacio da Pena) widok na okolicę. Bilet wstępu kosztuje 3 euro.