Portal de Turismo de la Junta de Castilla y León

La parte más antigua que se conserva se corresponde con la traza y restos de muro que se adaptan al perímetro del cerro. Hacia el frente, que comunica este cerro con el páramo, se dispuso un foso y una torre, núcleo de la construcción actual. En el siglo XV se procedió al refuerzo de la torre, añadiéndose posteriomente distintos cuerpos alrededor de ésta.

Durante tiempos sufrió graves problemas de cimentación. Pedro de Zúñiga, segundo conde de Miranda del Castañar, es el promotor de las principales obras del castillo, colocando sus armas, Zúñiga y Avellaneda, y las de su mujer Catalina de Velasco y Mendoza.

Existe una anécdota sobre el castillo, la que cuenta cómo Alfonso XI acabó con la vida de un escudero del alcalde, Juan Martínez de Leyre, por negarse, desde lo alto de la torre, a darle albergue cuando cazaba por los alrededores.