El Castillo de San Clemente o Castillo de Perarrúa domina estratégicamente el valle. Guarda cierto parecido con el de Loarre. Su torre, ligeramente troncocónica, era de las mayores y más fuertes del condado; actualmente sólo queda la mitad, partida verticalmente en dos; se componía de cuatro plantas.

A pocos metros aparece la inseparable iglesia de los castillos altoaragoneses, muy renovada actualmente; su campanario rectangular sería una segunda torre de vigía.

El conjunto presenta una sola entrada junto a la abadía que debió tener puerta de madera.
A la torre le continúan, a ambos lados, lienzos de muralla que no existe en la parte más meridional, más escarpada e inaccesible.