Originariamente, una alcazaba construida por los árabes en la segunda mitad del siglo IX, en la zona más elevada del cerro rocoso de la zona llamado “Cabeza de Zorro”. Se trata de un recinto hermético, rodeado por la cerca de muralla (desde donde se domina toda esta tierra) y debido a que se encuentra en lo más elevado del terreno escarpado el acceso se hace inaccesible al ataque de esta. Además, el castillo no tiene ventanas y tiene muy pocas saeteras.

El castillo consta de dos partes: el Patio de Arma y la Albacara, La planta del castillo está configurada como dos grandes recintos de forma geométrica adyacentes, siendo uno de ellos el Patio de Armas; y la otra parte es conocida como la Albacara, de forma en planta hexagonal. El acceso al primer recinto se encuentra en una puerta que se abre en arco de herradura al mediodía, además está defendida por dos torres albarranas, esta puerta fue reformada en el siglo XVI, cuando se construyó entre las dos torres de la fortaleza una bóveda para colocar una imagen de la Virgen de la Victoria (hecha de granito).

Las barreras exteriores son construidas, ya en época cristiana, con torres circulares, la cárcava o foso (actualmente colmatado), las torres albarranas que avanzan mediante pasarelas por el costado occidental, y la barbacana exterior. 

En el interior de la fortaleza encontramos que se conservan dos aljibes (que el año de su construcción fue incierto) y la capilla de la Virgen de la Victoria (siendo ésta la patrona de la ciudad).

El castillo fue construido con aparejo de sillares reaprovechados de otras construcciones romanas (mampostería). Está reutilizando de los sillares fue fundamental para establecer las bases de la cota militar, dispuestos en hiladas calzadas de trozos de ladrillos y lajas fragmentadas de pizarra.

En el año 1446 don Álvaro de Luna, condestable de Castilla y maestre de Santiago fue nombrado duque de Trujillo, siendo así el primero con este título, y señor de ese castillo. Fue la primera vez que un maestre de Santiago fue amo de Trujillo, pero no resultó por mucho, ya que tras la muerte de don Álvaro el castillo volvió a pertenecer a la corona. Tras esto, don Enrique IV concedió la fortaleza a Álvaro de Zúñiga que llegó con el rey a Trujillo en el año 1469 para hacerse cargo, sin embargo, el alcaide del castillo (don Gracián de Sese) se negaba a esto enfrente del rey diciendo que no lo entregaría porque “ni cumple a su servicio ni al bien de vuestros reinos…”.

Esta fortaleza ha vivido todas estas historias y muchas más que le dan el carácter que atrae a los turistas a contemplar este espléndido castillo, además de haber sido utilizado como set para series de televisión.